robots.txt禁止收錄協(xié)議的寫法
1) 允許所有搜索引擎訪問網(wǎng)站的所有部分
robots.txt寫法如下：
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
注意： 1. 第一個(gè)英文要大寫，冒號(hào)是英文狀態(tài)下，冒號(hào)后面有一個(gè)空格，這幾點(diǎn)一定不能寫錯(cuò)。
2) 禁止所有搜索引擎訪問網(wǎng)站的所有部分
robots.txt寫法如下：
User-agent: *
Disallow: /
3) 只需要禁止蜘蛛訪問某個(gè)目錄，比如禁止admin、css、images等目錄被索引
robots.txt寫法如下：
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/
注意：路徑后面有斜杠和沒有斜杠的區(qū)別：比如Disallow: /images/ 有斜杠是禁止抓取images整個(gè)文件夾，Disallow: /images 沒有斜杠意思是凡是路徑里面有/images關(guān)鍵詞的都會(huì)被屏蔽
4）屏蔽一個(gè)文件夾/templets，但是又能抓取其中一個(gè)文件的寫法:/templets/main
robots.txt寫法如下：
User-agent: *
Disallow: /templets
Allow: /main
5) 禁止訪問/html/目錄下的所有以” .php”為后綴的URL(包含子目錄)
robots.txt寫法如下：
User-agent: *
Disallow: /html/*.php
6) 僅允許訪問某目錄下某個(gè)后綴的文件,則使用“$”
robots.txt寫法如下：
User-agent: *
Allow: .html$
Disallow: /
7）禁止索引網(wǎng)站中所有的動(dòng)態(tài)頁面
比如這里限制的是有“?”的域名，例如index.php?id=1
robots.txt寫法如下：
User-agent: *
Disallow: /*?*
8) 禁止搜索引擎抓取我們網(wǎng)站上的所有圖片(如果你的網(wǎng)站使用其他后綴的圖片名稱，在這里也可以直接添加)
有些時(shí)候，我們?yōu)榱斯?jié)省服務(wù)器資源，需要禁止各類搜索引擎來索引我們網(wǎng)站上的圖片，這里的辦法除了使用“Disallow: /images/”這樣的直接屏蔽文件夾的方式之外，還 可以采取直接屏蔽圖片后綴名的方式。
robots.txt寫法如下：
User-agent: *
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
寫robots.txt要注意的地方
1. 第一個(gè)英文要大寫，冒號(hào)是英文狀態(tài)下，冒號(hào)后面有一個(gè)空格，這幾點(diǎn)一定不能寫錯(cuò)。
2. 斜杠：/ 代表整個(gè)網(wǎng)站
3.如果“/”后面多了一個(gè)空格，則屏蔽整個(gè)網(wǎng)站
4.不要禁止正常的內(nèi)容
5.生效時(shí)間是幾天到兩個(gè)月
