2023-05-15
大量死鏈對搜索引擎來講，有什么影響?
1、很多站都避免不了存在死鏈接，但死鏈率過高，會(huì)影響搜索引擎對網(wǎng)站的評(píng)分。
編輯失誤或者程序員大意讓頁面產(chǎn)生了不存在的頁面。
2、網(wǎng)站短暫無法訪問
3、外部鏈接錯(cuò)誤
用戶或者站長在站外發(fā)布了錯(cuò)誤URL，蜘蛛爬取后產(chǎn)生錯(cuò)誤頁面;別的網(wǎng)站復(fù)制或采集了你們含有錯(cuò)誤鏈接的頁面;有些垃圾網(wǎng)站自動(dòng)生成的靜態(tài)搜索結(jié)果頁。
4、爬蟲提取了不完整的URL
個(gè)別爬蟲在提取頁面URL的時(shí)候，只提取部分URL或者把正常的URL后面的文字或字符也提取進(jìn)去了。
5、網(wǎng)站改版
網(wǎng)站改版過程中老頁面直接刪除并沒有301跳轉(zhuǎn)到對應(yīng)頁面，或者實(shí)行301跳轉(zhuǎn)后依然部分老頁面無法訪問。
6、管理員刪除頁面
網(wǎng)站管理員刪除被黑、廣告、過時(shí)、被灌水頁面導(dǎo)致很多死鏈接。
7、過時(shí)或交易完畢頁面
下架商品、過期信息
出現(xiàn)了了上述情況，我們該如何去解決
1、修復(fù)錯(cuò)誤頁面
抓取異常中的很多錯(cuò)誤頁面是因?yàn)槌绦騿T大意或者我們程序問題導(dǎo)致的，本應(yīng)該是正常頁面，因?yàn)槭д`導(dǎo)致無法訪問，對于此類頁面，第一時(shí)間進(jìn)行修復(fù)。
2、提交死鏈接
但必定很多錯(cuò)誤頁面是本不應(yīng)該存在的，那么我們要想辦法獲取此類頁面URL，獲取方式主要有三種：
3、在robots中屏蔽抓取
若大量的錯(cuò)誤URL存在一定的規(guī)律，可以在robots文件中寫一個(gè)規(guī)則禁止蜘蛛抓取此類鏈接，但前提一定要照顧好正常頁面，避免屏蔽規(guī)則誤傷正常頁面，比如你的網(wǎng)站全部是靜態(tài)URL，那么如果錯(cuò)誤鏈接中含有?的話，規(guī)則寫成Disallow:/*?*，如果錯(cuò)誤鏈接中有/id...html 的話，規(guī)則寫成Disallow:/*...* 。1、在百度站長工具中提交死鏈前，一定要確保提交的死鏈數(shù)據(jù)不存在活鏈接。一旦存在活鏈，會(huì)顯示提交失敗導(dǎo)致無法刪除。
2、由于很多網(wǎng)站程序問題，很多打不開的頁面返回碼并非404，這是一個(gè)大問題，比如明明是打不開的頁面返回碼是301、200、500，如果是200的話，會(huì)導(dǎo)致網(wǎng)站中出現(xiàn)不同URL獲取相同內(nèi)容。
3、把所有的錯(cuò)誤頁面找到后，一定要尋找此類頁面URL相同特征，并且和正常頁面的特征有區(qū)分，寫對應(yīng)規(guī)則到robots文件中，禁止蜘蛛抓取，就算你已經(jīng)在站長工具中提交了死鏈，也建議robots封禁抓取。
4、robots只能解決蜘蛛不再抓取此類頁面，但解決不了已經(jīng)收錄頁面的快照刪除問題，若你的網(wǎng)站被黑，刪除了被黑頁面，除了robots封禁被黑頁面外，還應(yīng)該將這些頁面提交死鏈。提交死鏈?zhǔn)莿h除被黑頁面快照的最快辦法。
2019-11-22
2019-11-23
2019-11-23
2019-11-23
2019-11-23
2019-11-23
2019-11-26
2019-11-26
2019-11-26
2019-11-26
2019-11-26
2019-11-26
2019-11-26
2019-11-26
2019-11-26
2019-12-23
手機(jī)官網(wǎng)