我認(rèn)為機(jī)器人協(xié)議是站長(zhǎng)行使網(wǎng)站支配權(quán)的執(zhí)行文件，這是我們作為站長(zhǎng)最基本的權(quán)利。 因?yàn)樗阉饕娴闹┲胧桥谰W(wǎng)站之前面對(duì)的第一道門(mén)，所以也考慮到了robots協(xié)議的重要性。 說(shuō)細(xì)節(jié)決定成敗，那么重要的東西細(xì)節(jié)特別重要，很多時(shí)候自己不小心忽略的細(xì)節(jié)到最后都有可能成為你的致命打擊。 本人之所以這么說(shuō)，是因?yàn)槲也铧c(diǎn)成為這個(gè)問(wèn)題的反面教材。 因?yàn)橐徽业骄退姥蚓鸵M(jìn)牢了吧。 我想馬上和大家分享是因?yàn)榻窈笞约赫局臅r(shí)候不要犯同樣的錯(cuò)誤。




事實(shí)是今天。 小明SEO博客也剛做好，我發(fā)現(xiàn)前幾天網(wǎng)站上線后有很多需要處理的小問(wèn)題。 為了避免網(wǎng)站在調(diào)整過(guò)程中被搜索引擎抓住，robots協(xié)議寫(xiě)了禁止所有搜索引擎爬上網(wǎng)站的任何部分的命令。 網(wǎng)站調(diào)整持續(xù)了幾天(因?yàn)殚L(zhǎng)這么久是受不了傷的人，不知道不是強(qiáng)迫癥的一種)，昨天也完全竣工了，在這期間，我每天堅(jiān)持添加原創(chuàng)文章。 昨天網(wǎng)站檢查結(jié)束，所有問(wèn)題都解決后，重新交換robots協(xié)議，發(fā)送蜘蛛希望爬蟲(chóng)類早日登上我的網(wǎng)站的帖子。 這樣，到了今天早上發(fā)現(xiàn)網(wǎng)站還沒(méi)有收錄，所以去百度站長(zhǎng)的工具平臺(tái)看看我的網(wǎng)站到底是什么狀況，進(jìn)去一看嚇了一跳。 因?yàn)槲铱吹搅讼旅?如圖所示)的信息。




https://www.xminseo.com/wp-content/uploads/2015/02/tishi.png




我的網(wǎng)站竟然全面封鎖了百度。 檢查時(shí)間是今天(2月4日)上午5點(diǎn)左右。 像丈二的僧侶一樣摸不到頭。 不科學(xué)。 昨天2月3日上午更改了網(wǎng)站上的robots協(xié)議，真的很奇怪。 總算在站長(zhǎng)平臺(tái)工具的“robots檢查”中找到了答案。 請(qǐng)看下圖。




https://www.xminseo.com/wp-content/uploads/2015/02/shijian.jpg




百度蜘蛛早在我網(wǎng)站蜘蛛上線后的第三天就獲得了我網(wǎng)站的robots協(xié)議，所以現(xiàn)在生效的協(xié)議是當(dāng)時(shí)它獲得的我把蜘蛛全部屏蔽了的時(shí)候，本站最新的robot協(xié)議還沒(méi)有既然知道了原因，就容易做了。 于是我馬上更新了協(xié)議提交。 如下圖所示。




https://www.xminseo.com/wp-content/uploads/2015/02/gengx.png




更新后一分鐘內(nèi)協(xié)議被更新了。 如下圖所示。




https://www.xminseo.com/wp-content/uploads/2015/02/gengxinyihou.jpg




可知現(xiàn)在本站的最新robots有效。 這樣到了下午，我再次進(jìn)入百度站長(zhǎng)平臺(tái)時(shí)收到了新消息。 下圖所示。




https://www.xminseo.com/wp-content/uploads/2015/02/yijingjiefeng.jpg




現(xiàn)在網(wǎng)站解除了robots協(xié)議對(duì)百度的全面禁止。 檢查時(shí)間從今天下午兩點(diǎn)開(kāi)始。 一到晚上差不多三個(gè)多小時(shí)前，我再次檢查網(wǎng)站的收錄情況時(shí)，網(wǎng)站的首頁(yè)已經(jīng)被收錄了。 如下圖所示。




https://www.xminseo.com/wp-content/uploads/2015/02/shoulu1.png




網(wǎng)站終于被收錄了，最高興的是通過(guò)自己的努力發(fā)現(xiàn)問(wèn)題并解決了。 這是今天最大的成就。 當(dāng)然，如果找不到這個(gè)問(wèn)題，網(wǎng)站可能還有10天半就不會(huì)著色了。 所以，對(duì)于robots協(xié)議，在阻止蜘蛛后后期解除阻止時(shí)，一定要記住及時(shí)更新robots協(xié)議“http:\\域名\ 你可能認(rèn)為輸入robots.txt來(lái)改變網(wǎng)站的協(xié)議就行了，但在實(shí)踐中為了證明這種方式不是完全可靠的，必須記住這次的經(jīng)驗(yàn)。 robots一調(diào)整就必須提交更新。




溫暖的提示：我剛才看到時(shí)間了。 已經(jīng)第二天了。 寫(xiě)這篇文章是2月4日，現(xiàn)在發(fā)表的時(shí)間是2月5日。 所以，文章中提到的“今天”是2月4日。 大家不要混亂。