網(wǎng)址規(guī)范化（URL canonicalization）指的是搜索引擎挑選最合適的U URLAIERL作為真正規(guī)范化的網(wǎng)址的過(guò)程，

　　為什么出現(xiàn)不規(guī)范網(wǎng)址

　　舉例來(lái)說(shuō)，下面這幾個(gè)URL一般指的是同一個(gè)文件:

　　http://www.domainname.com

　　http: //domainname.com

　　http: //www.domainname.com/index.html

　　http: //domainname.com/index.html ，從技術(shù)上來(lái)講，這幾個(gè)URL都是不同的網(wǎng)址，搜索引擎也確實(shí)把它們當(dāng)作不同的網(wǎng)址。雖然在絕大部分情況下，這些網(wǎng)址所返回的是相同的文件，也就是網(wǎng)站首頁(yè)，但是從技術(shù)上說(shuō)主機(jī)完全可以對(duì)這幾個(gè)網(wǎng)址返回不同的內(nèi)容。

　　除了上面因?yàn)閹c不帶www造成的，，以及結(jié)尾是否帶 index.. htmlhtml文件＆名造成的不規(guī)范網(wǎng)址，網(wǎng)址規(guī)范化問(wèn)題還可能由于如下原因出現(xiàn):

　　·CMS系統(tǒng)原因，使同一篇文章（也可以是產(chǎn)品、帖子等）可以通過(guò)幾種不同的URL訪問(wèn)。這種情況大量存在。

　　·URL靜態(tài)化設(shè)置錯(cuò)誤，同一篇文章有多個(gè)靜態(tài)化URL·URL靜態(tài)化后，靜態(tài)和動(dòng)態(tài)URL共存，都有鏈接，也都可以訪問(wèn)。

　　·目錄后帶與不帶斜杠。

　　http: //www. domainname. com和http://ww.domainname.com/是不同網(wǎng)址，但其實(shí)是一個(gè)頁(yè)面。

　　·加密網(wǎng)址。

　　http: //www. domainname. com和https: //www. domainname.com，同時(shí)存在，都可以訪問(wèn)。

　　URL中有端口號(hào)。

　　http://www. domainname.com: 80 http://www.domainname. com。

　　跟蹤代碼。有的聯(lián)署計(jì)劃或廣告服務(wù)在URL后面加跟蹤代碼，如http: //www.domainname.. com/?affid＝100 和 http: //www. domainname. com/m和http:/www.domainnaecom/顯示的都是首頁(yè)內(nèi)容。

　　網(wǎng)址規(guī)范化問(wèn)題

　　網(wǎng)站出現(xiàn)多個(gè)不規(guī)范網(wǎng)址會(huì)給搜索引擎收錄和排名帶來(lái)很多麻煩。比如，網(wǎng)站首頁(yè)應(yīng)該是固定的，只有一個(gè)，但很多站長(zhǎng)在鏈接回首頁(yè)時(shí)所使用的URL并不是唯一的，一會(huì)兒連到http://www.domainname.com，一會(huì)兒連到http:www.domainname.com/index.html。

　　雖然不會(huì)給用戶造成什么麻煩，因?yàn)檫@些網(wǎng)址其實(shí)是同一個(gè)文件，但是給搜索引擎造成了困惑，哪一個(gè)網(wǎng)址是真正的首頁(yè)呢？哪一個(gè)網(wǎng)址應(yīng)該被當(dāng)作首頁(yè)返回呢？如果網(wǎng)站上不同版本的網(wǎng)址同時(shí)出現(xiàn)，那么兩個(gè)或更多版本的URL都可能被搜索引擎收錄，這就會(huì)造成復(fù)制內(nèi)容。搜索引擎計(jì)算排名時(shí)必須找到所謂規(guī)范化的網(wǎng)址，也就是搜索引擎認(rèn)為的最合適的URL版本。

　　網(wǎng)址規(guī)范化造成幾個(gè)問(wèn)題:

　　·CMS系統(tǒng)在不同地方鏈接到不同的URL，分散了頁(yè)面權(quán)重，不利于排名?！ね獠挎溄右部赡苤赶虿煌琔RL，分散權(quán)重。

　　·搜索引擎判斷的規(guī)范化網(wǎng)址可能不是站長(zhǎng)想要的那個(gè)網(wǎng)址。

　　·如果網(wǎng)址規(guī)范化問(wèn)題太嚴(yán)重，也可能影響收錄一個(gè)權(quán)重不很高的域名，能收錄的總頁(yè)面數(shù)和蜘蛛總爬行時(shí)間是有限的。搜索引擎把資源花在收錄不規(guī)范的網(wǎng)址上，留下給獨(dú)特內(nèi)容的資源就減少了。

　　·復(fù)制內(nèi)容過(guò)多，搜索引擎可能認(rèn)為內(nèi)容質(zhì)量不高。

　　解決網(wǎng)址規(guī)范化問(wèn)題

　　要解決URL規(guī)范化問(wèn)題有很多方法，比如:

　　·確保使用的CMS系統(tǒng)只產(chǎn)生規(guī)范化網(wǎng)址，無(wú)論是否有靜態(tài)化。

　　·所有內(nèi)部鏈接保持統(tǒng)一，都指向規(guī)范化網(wǎng)址。以帶與不帶www為例，確定一個(gè)版本為規(guī)范化網(wǎng)址，網(wǎng)站內(nèi)鏈接統(tǒng)一使用這個(gè)版本這樣搜索引擎也就明白哪個(gè)是站長(zhǎng)希望的規(guī)范化網(wǎng)址。由于用戶習(xí)慣，通常選擇帶www的版本為規(guī)范化網(wǎng)址。

　　· 在Google站長(zhǎng)工具中設(shè)置首選域。

　　·使用301轉(zhuǎn)向，把不規(guī)范化URL全部轉(zhuǎn)向到規(guī)范化URL。下一節(jié)將深入討論。

　　· 使用 canonical標(biāo)＃簽。.后面將深入討論。.

　　·提交給搜索引擎的XML網(wǎng)站地圖中全部使用規(guī)范化網(wǎng)址。

　　但這些方法都各有局限:

　　Google站長(zhǎng)工具不適用于其他搜索引擎。

　　·有的網(wǎng)站因?yàn)榧夹g(shù)原因做不了301轉(zhuǎn)向。

　　.CMS系統(tǒng)經(jīng)常不受自己控制。

　　.內(nèi)部鏈接自己可以控制，但外部鏈接不受控制。

　　所以，雖然有解決方法備選，但到目前為止網(wǎng)址規(guī)范化一直是困擾站長(zhǎng)及搜索引擎的一個(gè)問(wèn)題。據(jù)估計(jì)，網(wǎng)上有10％～30％的URL是內(nèi)容相同但URL不一樣的不規(guī)范化網(wǎng)址。為了萬(wàn)無(wú)一失，經(jīng)常需要綜合使用多個(gè)方法。

　　301轉(zhuǎn)向

　　1.什么是301轉(zhuǎn)向

　　301轉(zhuǎn)向（或叫301重定向、301跳轉(zhuǎn)）是用戶或蜘蛛向網(wǎng)站服務(wù)器發(fā)出訪問(wèn)請(qǐng)求時(shí)，服務(wù)器返回的HTTP數(shù)據(jù)流中頭信息（header）部分狀態(tài)碼的一種，表示本網(wǎng)址永久性轉(zhuǎn)移到另一個(gè)地址。

　　其他常見的狀態(tài)碼如下。

　　200:一切正常。

　　404:網(wǎng)頁(yè)不存在。

　　302:臨時(shí)性轉(zhuǎn)向。

　　500:內(nèi)部程序錯(cuò)誤。

　　網(wǎng)址轉(zhuǎn)向還有其他方法，如02轉(zhuǎn)向、JavaScript轉(zhuǎn)向、PHP/ASP/CGI程序轉(zhuǎn)向、 Meta Refresh等。除了301轉(zhuǎn)向外，其他方法都是常用的作弊手法。.雖然方法本身沒有對(duì)錯(cuò)之分，但被作弊者用多了，搜索引擎對(duì)可疑的轉(zhuǎn)向都很敏感。

　　2.301轉(zhuǎn)向傳遞權(quán)重

　　網(wǎng)頁(yè)A用301重定向轉(zhuǎn)到網(wǎng)頁(yè)B，搜索引擎可以肯定網(wǎng)頁(yè)A永久性改變地址，或者說(shuō)實(shí)際上不存在了，搜索引擎就會(huì)把網(wǎng)頁(yè)B當(dāng)作唯一有效目標(biāo)。這是搜索引擎唯一推薦的不會(huì)產(chǎn)生懷疑的轉(zhuǎn)向方法，更重要的是，網(wǎng)頁(yè)A積累的頁(yè)面權(quán)重將被傳到網(wǎng)頁(yè)B.

　　所以，假設(shè)http: //www. domainname. com是選定的規(guī)范化網(wǎng)址，下面幾個(gè)網(wǎng)址:

　　. http: //domainname. com

　　. http: //www.domainname. com/index.html

　　. http: //domainname. com/index.html

　　都做301轉(zhuǎn)向到http: //www.domainname.com， 搜索引擎就知道http:/www.domainnamecom是規(guī)范化網(wǎng)址，而且會(huì)把上面列的網(wǎng)址權(quán)重傳遞集中到規(guī)范化網(wǎng)址。

　　目前 Google 會(huì)傳遞大部分權(quán)重，但不是百分之百權(quán)重。百度會(huì)傳遞所有權(quán)重。Google對(duì)301的識(shí)別、反應(yīng)、完成權(quán)重傳遞，需要1～3個(gè)月時(shí)間。百度對(duì)301處理則比較保守，新舊URL會(huì)同時(shí)存在于數(shù)據(jù)庫(kù)很長(zhǎng)時(shí)間，經(jīng)?？吹阶隽?01轉(zhuǎn)向一年的URL還出現(xiàn)在百度結(jié)果中。

　　3.怎樣做301轉(zhuǎn)向

　　如 果 網(wǎng)站使用 LAMP（Linux＋＋Apache＋＋MySQL＋＋PPHPHP）主機(jī)，可以使用.htaccess文件做301轉(zhuǎn)向。.htaccess是一個(gè)普通文件，用 Notepad等文 字編輯軟件創(chuàng)建和編輯， 存在網(wǎng)站根目錄下。.htaccess文件中的指令用于目錄特定操作，如密碼保護(hù)、轉(zhuǎn)向、錯(cuò)誤處理等。

　　比如把頁(yè)面old.htm301轉(zhuǎn)向到http: //www.domain.cor.com/new.htm，可以在htaccess文件中放上這個(gè)指令:

　　redirect 301 /old.htm http: //www. domain. com/new. htm

　　4.301轉(zhuǎn)向的其他用途

　　除了解決網(wǎng)址規(guī)范化問(wèn)題，還有很多需要做301轉(zhuǎn)向的情形。比如，為保護(hù)版權(quán)公司擁有不同TLD的多個(gè)域名:

　　company..com

　　company.net

　　company. org

　　company. com. cn

　　company.cn

　　為避免造成大量復(fù)制內(nèi)容，應(yīng)該選定一個(gè)為主域名，如 company.com，其他域名做301轉(zhuǎn)向到company.com.

　　網(wǎng)站改版也經(jīng)常需要用到301轉(zhuǎn)向，如頁(yè)面刪除、改變地址、URL命名系統(tǒng)改變等。更換域名也需要整站從舊域名做301轉(zhuǎn)向到新域名

　　動(dòng)態(tài)URL靜態(tài)化也可能要做301，將舊的、態(tài)的URL做301到新的、靜態(tài)的URL.