Robots.txt 文件應(yīng)放在哪里？
Robots.txt 文件必須放在網(wǎng)站的根目錄里。放在子目錄的 Robots.txt 文件搜索引擎不能爬取到，所以不會(huì)起任何作用?？梢酝ㄟ^FTP相關(guān)工具上傳
例子：
http://pigpusher.com/robots.txt是有效的，如果放在其他文件夾或者目錄下面都是無(wú)效的，檢查的最簡(jiǎn)單方法就是在地址欄輸入這個(gè)網(wǎng)站，如果能打開，那么就是有效的。
如果你不能控制根目錄的 robots.txt，則你可以通過在子目錄網(wǎng)頁(yè)中使用標(biāo)簽阻止網(wǎng)頁(yè)被收錄。
相關(guān)資料供您參考：
