網站SEO優化可以算是一門較為復雜的技術，至少在進行SEO優化的時候，有很多東西都是你需要關注的，接下來成都網站優化公司小編為你帶來robots.txt文件寫法的重要性：

　　用戶點進網站第一眼看到的基本上都是我們的網站首頁，也就是一個html+css制作的框架里邊包含的文字以及圖片，但是搜索引擎spider并不是如此，搜索引擎進入我們的網站首要查看的就是robots.txt文件，如果網站存在robots.txt文件，搜索引擎機器人就會按照文件中的內容來確認訪問范圍，但若是robotx.txt文件不存在的話，所有的頁面以及鏈接就都將被爬取。

　　但是一個網站上通常都會存在很多的非必要性抓取信息，以及不重要的欄目，使用robots.txt屏蔽這些鏈接能夠很好的集中網頁權重避免權重流失，對于一些電商平臺來說，也能夠屏蔽一些付費頁面，防止用戶通過百度搜索快照查看，起到保存自己利益的好處。

　　robots.txt的制作方式

　　robots.txt是SEO名詞，所以做好一個網站的robots.txt文件的書寫，對于網站優化是非常重要的。

　　寫法：

　　User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符

　　Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄

　　Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄

　　Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄

　　Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以”.htm”為后綴的URL(包含子目錄)。

　　Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址

　　Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片

　　Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。

　　Allow: /cgi-bin/　這里定義是允許爬尋cgi-bin目錄下面的目錄

　　Allow: /tmp 這里定義是允許爬尋tmp的整個目錄

　　Allow: .htm$ 僅允許訪問以”.htm”為后綴的URL。

　　Allow: .gif$ 允許抓取網頁和gif格式圖片。

　　相信很多人看了以上的書寫方式心里都是很清晰明了的了，Disallow: 的作用的禁止搜索引擎爬取相應的文件夾、鏈接，Allow:則是允許搜索引擎抓取對應的目錄鏈接，希望大家看了以上的文章能夠寫好robots.txt促進網站排名哦~