robots.txt？

很多SEO網(wǎng)站優(yōu)化新手都會(huì)問：robots.txt是什么？
 

你肯定有過如下經(jīng)歷：在百度或者谷歌等搜索引擎上搜索自己的手機(jī)號(hào)碼，很多人會(huì)講，我的號(hào)碼為什么會(huì)被搜索到，我又沒有告訴他，如果我們某個(gè)站點(diǎn)或者自己的信息不想讓百度和google收錄，那怎么辦呢？
 

其實(shí)搜索引擎已經(jīng)和我們達(dá)成一個(gè)約定，如果我們按約定那樣做了，它們就不要收錄。
 

這個(gè)寫約定的的文件命名就是:robots.txt。
 

robots.txt是一個(gè)最簡(jiǎn)單的.txt文件，用以告訴搜索引擎哪些網(wǎng)頁可以收錄，哪些不允許收錄。
 

關(guān)于robots.txt一般站長(zhǎng)需要注意以下幾點(diǎn)：

（1）如果你的站點(diǎn)想對(duì)所有搜索引擎公開，則不用做這個(gè)文件或者robots.txt為空就行。
（2）文件名稱必須命名為：robots.txt，都是小寫，robot后面加"s"。

（3）robots.txt文件必須放置在一個(gè)站點(diǎn)的根目錄下。如：通過http://pigpusher.com/robots.txt 可以成功訪問到，則說明本站的放置正確。

（4）一般情況下，robots.txt里只寫著兩個(gè)函數(shù)：User-agent和 Disallow。

（5）觀察這個(gè)頁面并修改為自己的：http://pigpusher.com/robots.txt

（6）有幾個(gè)禁止，就得有幾個(gè)Disallow函數(shù)，并分行描述。

（7）至少要有一個(gè)Disallow函數(shù)，如果都允許收錄，則寫: Disallow: ，如果都不允許收錄，則寫:Disallow: /  （注：只是差一個(gè)斜桿）。
 

補(bǔ)充說明：
 

User-agent: *  星號(hào)說明允許所有搜索引擎收錄

Disallow: /plus/search.php  說明 http://pigpusher.com/plus/search.php這個(gè)頁面禁止搜索引擎抓取。

Disallow: /index.php?   說明http://pigpusher.com/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 類似這樣的頁面 禁止搜索引擎抓取。


最近一段時(shí)間360推出了自己搜索引擎，百度指責(zé)360不遵守robots.txt協(xié)議，為此國(guó)家相關(guān)部門出面調(diào)停，要求各搜索引擎都要遵守robots.txt協(xié)議，關(guān)于此信息，您可以通過百度搜索了解更多：360robots.txt
 

如果您想進(jìn)一步了解相關(guān)知識(shí)，可以參考以下資料：

如何使用標(biāo)簽阻止網(wǎng)頁被收錄？
robots.txt文件有什么必要