許多SEO新手不僅不知道如何使用robots，甚至不明白什么是robots文件，但需要指出的是，許多網(wǎng)站由于沒有設(shè)置好該文件，導(dǎo)致排名很不理想，所以該文件對(duì)于優(yōu)化網(wǎng)站非常重要。因?yàn)楹芏嗳瞬幻靼灼渲械牡览恚旅嫘【帪榇蠹以敿?xì)介紹。

　　1.站點(diǎn)優(yōu)化是為了避免重復(fù)或類似的頁面，而搜索引擎瀏覽一個(gè)站點(diǎn)不像人，它依賴于蜘蛛爬行。但是很多人不注意的是當(dāng)前主流的網(wǎng)站程序容易自動(dòng)生成一些無用的頁面，比如緩存頁面、搜索頁面、feed頁面等，這些頁面往往與主體內(nèi)容重復(fù)，而且沒有用處，如果被蜘蛛不小心抓到，那么網(wǎng)站排名就會(huì)受到嚴(yán)重影響。很多網(wǎng)站沒有排名，往往都是因?yàn)樗阉饕姘l(fā)現(xiàn)網(wǎng)站有很多重復(fù)或相似的頁面。

　　2.搜索引擎喜歡原創(chuàng)內(nèi)容，這是眾所周知的，一方面不單單指網(wǎng)站文章的原創(chuàng)性，另一方面，網(wǎng)站模板的原創(chuàng)度也是非常重要的評(píng)分點(diǎn)，所以如果你的網(wǎng)站模板不是原創(chuàng)的，最好屏蔽CSS目錄和模板目錄。

　　3.使用robots文件可以用來屏蔽一些無用的頁面，如隱私頁面、后臺(tái)登錄頁面、圖像目錄和其他內(nèi)容，或者屏蔽一些其他與站點(diǎn)關(guān)鍵字無關(guān)的頁面。

　　4.可以大大提高蜘蛛網(wǎng)站的爬行效率，與網(wǎng)站的內(nèi)鏈有著同樣的目的，幫助搜索引擎了解網(wǎng)站最重要的內(nèi)容是什么，不再浪費(fèi)在其他無用的頁面上。

　　簡而言之，robots文件是網(wǎng)站優(yōu)化的一個(gè)非常重要的部分，這方面往往制約著網(wǎng)站的成敗，當(dāng)然，這是網(wǎng)站優(yōu)化的一個(gè)非常詳細(xì)的方面，但往往細(xì)節(jié)決定成敗，很多人沒有意識(shí)到這一點(diǎn)，我希望通過以上的介紹，大家都會(huì)明白這一點(diǎn)的重要性。