石家莊seo培訓(xùn):如何查看百度蜘蛛是否來(lái)過(guò)網(wǎng)站?如何正確識(shí)別百度蜘蛛?如何進(jìn)行蜘蛛的抓取診斷?如何通過(guò)百度蜘蛛IP得知網(wǎng)站狀態(tài)?
可以通過(guò)查看網(wǎng)站日志進(jìn)行分析。Windows服務(wù)器的IIS與Linux服務(wù)器的apache都有記錄網(wǎng)站日志的功能。
移動(dòng)UA:Mozilla/. (Linux;u;Android ..;zh-cn;) AppleWebKit/. (KHTML,likeGecko) Version/. Mobile Safari/.. (compatible; Baiduspider/.;+http://www.baidu.com/search/spider.html)
PC UA:Mozilla/. (compatible; Baiduspider/.;+http://www.baidu.com/search/spider.html)
移動(dòng)UA:Mozilla/. (iPhone; CPU iPhone OS _ likeMac OS X) AppleWebKit/.. (KHTML, like Gecko) Version/. Mobile/BSafari/. (compatible; Baiduspider-render/.; +http://www.baidu.com/search/spider.html)
PC UA:Mozilla/. (compatible;Baiduspider-render/.; +http://www.baidu.com/search/spider.html)
可以通過(guò)dns反差ip的方法判斷是否是百度蜘蛛,只要不是來(lái)自“. baidu . com”或“. baidu . jp”即為假冒的百度蜘蛛。
石家莊seo培訓(xùn)認(rèn)為很多網(wǎng)站因使用Java代碼或框架結(jié)構(gòu)等問(wèn)題,不能被百度蜘蛛所抓取。這里進(jìn)行診斷也是為了防止蜘蛛來(lái)網(wǎng)站后,因?yàn)椴荒苷Wト《x開(kāi),導(dǎo)致網(wǎng)站收錄很差,快照不更新等問(wèn)題。
百度官方在線抓取診斷工具如下圖所示,選好網(wǎng)站(主頁(yè)或其他頁(yè)面)后,選擇PC UA 或者移動(dòng)UA,最后點(diǎn)擊“抓取”即可。
稍等片刻,刷新頁(yè)面會(huì)顯示“抓取成功”,或者失敗??梢渣c(diǎn)擊查看“抓取成功”或失敗的詳細(xì)信息。
以上就是小小課堂網(wǎng)帶來(lái)的百度搜索引擎蜘蛛分析教程。感謝您的觀看。石家莊seo培訓(xùn)原創(chuàng)。觀看更多seo教程搜索小小課堂。
喜歡記得,點(diǎn)贊,打賞哦。小小課堂網(wǎng),每天一個(gè)SEO原創(chuàng)視頻和圖文教程,別忘了關(guān)注哦。