眾所周知,蜘蛛只是一個(gè)機(jī)器人,它由程序代碼組成,并且必須遵循其規(guī)則爬行網(wǎng)站,如果網(wǎng)站存在陷阱的話,會(huì)使蜘蛛爬行不順暢,導(dǎo)致一系列問(wèn)題。那么,哪些網(wǎng)站陷阱是蜘蛛蜘蛛爬行絆腳石呢?
陷阱一:網(wǎng)站地圖不正確
網(wǎng)站地圖是網(wǎng)站的一個(gè)非常有用的工具。一副完整和正確的網(wǎng)站地圖對(duì)用戶和蜘蛛都是有好處的,可以識(shí)別整個(gè)網(wǎng)站的架構(gòu),以便更好地瀏覽和爬行網(wǎng)站。因?yàn)橛行┚W(wǎng)站站長(zhǎng)不熟悉代碼以及網(wǎng)站的架構(gòu),就隨機(jī)選擇一個(gè)權(quán)威性差的工具來(lái)創(chuàng)建了不完整或不正確的網(wǎng)站地圖,結(jié)果讓蜘蛛在爬行時(shí)陷入其中并最終迷路。
選擇一個(gè)權(quán)威的工具制作網(wǎng)站地圖,比如站長(zhǎng)工具、百度站長(zhǎng)平臺(tái)工具等,如果你比較熟悉自己的網(wǎng)站,最好是能夠手工制作,并親自多次測(cè)試,以確保網(wǎng)站地圖的正確性和完整性。
陷阱二:網(wǎng)站上死鏈的數(shù)量巨大
所謂的死鏈接是返回代碼為404的錯(cuò)誤頁(yè)面鏈接,這樣的鏈接通常是在網(wǎng)站更改后生成的,或者網(wǎng)站改變域名后,死鏈接的存在對(duì)用戶體驗(yàn)和蜘蛛爬行非常不利。死鏈接會(huì)阻擋蜘蛛爬行,當(dāng)蜘蛛反復(fù)遇到這些不應(yīng)該出現(xiàn)的死鏈接時(shí),就會(huì)產(chǎn)生對(duì)網(wǎng)站的不信任,并最終放棄爬行。
(1)提交死鏈接。利用百度站長(zhǎng)平臺(tái)的死鏈提交工具提交網(wǎng)站死鏈,詳情請(qǐng)參閱參考百度站長(zhǎng)工具。
(2)重定向或刪除死鏈接,如果死鏈接的位置不重要,您可以重定向到主頁(yè),如果位置比較重要,數(shù)量也較多,可以選擇刪除死鏈接,可以使用工具刪除。
陷阱三:URL包含太多的參數(shù)
雖然百度優(yōu)化指南官方表示,百度搜索機(jī)器人也可以想谷歌機(jī)器人一樣收錄動(dòng)態(tài)參數(shù)網(wǎng)站,但靜態(tài)URL的網(wǎng)站總是比動(dòng)態(tài)URL更有優(yōu)勢(shì)。
在選擇網(wǎng)站制作程序之前,重要的是要考慮該程序是否支持靜態(tài)url,并在以后的維護(hù)中注意URL是否真正的做到了靜態(tài)化,盡量放棄包含參數(shù)的動(dòng)態(tài)URL的做法。
陷阱四:網(wǎng)站錨文本太多
網(wǎng)站錨文本太多,導(dǎo)致內(nèi)鏈鏈輪。相信每個(gè)人都知道外部鏈輪,但事實(shí)上,內(nèi)部鏈接也可以產(chǎn)生鏈輪。很多網(wǎng)站站長(zhǎng)為了提高關(guān)鍵詞的排名,毫不猶豫地使用過(guò)多的錨文本,然后造成頁(yè)面之間的鏈接輪回效應(yīng),最后使蜘蛛走進(jìn)無(wú)底洞,無(wú)法走出。
清理過(guò)去帶有交叉鏈接的錨文本,并且盡量做到需要時(shí)才添加錨文本,濫用錨文本只會(huì)讓百度更一步不認(rèn)可你的網(wǎng)站。
百度搜索引擎蜘蛛永遠(yuǎn)只是一個(gè)程序機(jī)器人,它的智能永遠(yuǎn)無(wú)法與我們相比,但我們?nèi)匀粦?yīng)該尊重它,為它提供一個(gè)爬行順暢的站點(diǎn)環(huán)境,從而保證我們的網(wǎng)站能夠持續(xù)健康發(fā)展。