173-8640-8420

網站建設 APP開發 小程序

KNOWLEDGE/知識

分享你我感悟

您當前位置> 主頁 > 知識 > 網站建設

開發者應該怎么解除封禁百度蜘蛛

發表時間:2022-07-04 08:43:59

文章作者:小編

瀏覽次數:

近期收到一些開發者反饋,為什么網站或智能小程序資源的內容非常優質,但是沒有查詢到百度蜘蛛抓取記錄,或在百度搜索中沒有得到收錄和展現?

在技術分析后發現,有些網站或智能小程序存在封禁百度蜘蛛的情況,導致百度蜘蛛無法正常抓取,所以無法在百度搜索中正常收錄和展現,或在搜索結果中的摘要展現為“存在robots封禁”字樣。

為了讓廣大開發者的網站或小程序,在百度搜索中得到正常的收錄和展現,建議開發者及時根據以下內容自查,解除封禁問題,并通過鏈接提交工具主動提交給我們。

常見的封禁行為包括robots封禁、封禁百度UA、封禁百度IP等。

如何驗證網站和智能小程序是否存在封禁百度蜘蛛的情況?


1、首先, 查看robots.txt文件,是否存在封禁記錄。(一般robots.txt文件放置在網站根目錄下。)

【建議方案】解除robots封禁:robots封禁情況,請檢查robots.txt文件,及時修改。

robots文件說明:https://ziyuan.baidu.com/college/articleinfo?id=1516

 

2、robots文件無異常,進一步排查是否存在封禁百度UA情況;

方案一:執行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'

注:正常返回碼是200,其他情況為異常。

xxxxxxx為網站域名,如:http://abc.com.cn。

正確識別和獲取百度蜘蛛,https://ziyuan.baidu.com/college/articleinfo?id=2855

 

方案二:變更瀏覽器UA驗證;

【建議方案】解除百度UA封禁:查看網站反爬蟲策略,進行策略調整?;蜥槍Π俣萓A添加策略白名單。

 

3、以上驗證均無異常,最后進一步排查是否存在IP級別的封禁;

常見的IP封禁,源自網站的防火墻系統配置,需要查看防火墻配置系統后臺,檢查是否存在百度蜘蛛的IP級別封禁措施。

【建議方案】解除百度IP封禁:查看網站反爬蟲策略,進行策略調整。

相關案例查看更多

99久久久无码一区二区