很多SEO員工剛接觸這個行業(yè)時,經(jīng)常被問及什么是百度蜘蛛。 可以理解為百度蜘蛛是用于抓住網(wǎng)站鏈接的IP。 小編經(jīng)常百度蜘蛛來,服務(wù)器爆炸。 如果你識別不出百度蜘蛛,你怎么知道百度蜘蛛爆炸了? 有時百度蜘蛛不來,也有很多網(wǎng)站想得到百度蜘蛛的IP段,想把IP列入白名單,但無法識別百度IP。
怎樣才能識別正確的百度蜘蛛呢? 來,做兩分,就能正確識別百度蜘蛛。
一、看UA,如果UA錯了,可以直接判斷百度搜索以外的蜘蛛。 現(xiàn)在公開的UA如下。
移動UA:Mozilla/5.0 (Linux; u; 安卓4.2.2; zh-cn; 蘋果WebKit/534.46 (khtml,Like Gecko )版本/5.1 mobile safari/10600.6.3 (兼容; Baiduspider/2.0; https://www.Baidu.com/search/spider.HTML )
PCUA : Mozilla/5.0 (兼容; Baiduspider/2.0; https://www.Baidu.com/search/spider.HTML )
新的渲染UA:
移動UA:Mozilla/5.0 (iPhone; cpuiphoneos9_1Like MA cosx ) apple WebKit/601.1.46 (KHTML,Like Gecko ) version/9.0 Mobile/13 B144 BaidusPider-Render https://www.Baidu.com/search/spider.HTML )
PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; https://www.Baidu.com/search/spider.HTML )
二、注銷IP
站長通過DNS檢查IP,可以判斷某個spider是否來自百度搜索引擎。 不同的平臺有不同的認證方法。 例如,linux/windows/os在三個平臺上的認證方法分別如下:
(在linux平臺上,可以使用host ip命令反向分析ip,以確定是否從Baiduspider進行捕獲。 Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名,除了*.baidu.com或*.baidu.jp以外都是冒充的。
(在windows或IBM OS/2平臺上,可以使用nslookup ip命令反向分析ip,以確定是否從Baiduspider捕獲。 打開命令處理器,輸入nslookup xxx.xxx.xxx.xxx(ip地址)即可分析IP,判斷有無來自Baiduspider的捕獲。 Baiduspider的hostname是*.baidu.coom。
(在mac os平臺上,可以使用dig命令反向解析ip,判斷有無從Baiduspider捕獲。 打開命令處理器,輸入dig xxx.xxx.xxx.xxx(ip地址)后解析IP,判斷有無來自Baiduspider的捕獲,Baiduspider的hostname在*.baidu.com或*中