所以請(qǐng)問(wèn)，你網(wǎng)站根目錄下的robots.txt文件是UTF-8編碼嗎？如果不是，建議你修改為該編碼。

Google Groups成員指出包括Google在內(nèi)的大部分常用搜索引擎更寵愛(ài)UTF-8編碼的robots.txt文件。

相關(guān)文章：有道關(guān)于robots.txt的解釋

Robots.txt這個(gè)文件相信大家都不模式吧，是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的 個(gè)文件。Robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。

當(dāng)一個(gè)搜索蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)壹 先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍；如果該文件不存在，擁有 的搜索蜘蛛將能夠訪問(wèn)網(wǎng)站上擁有 沒(méi)有被口令保護(hù)的頁(yè)面。

robots.txt需要 放置在一個(gè)站點(diǎn)的根目錄下，而且文件名需要 大部 小寫(xiě)。

語(yǔ)法：更 簡(jiǎn)單的 robots.txt 文件使用兩條規(guī)則：

? User-Agent: 適用下列規(guī)則的漫游器
? Disallow: 要攔截的網(wǎng)頁(yè)

Robots.txt是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，Robots.txt的文件名應(yīng)統(tǒng)一為小寫(xiě)，即robots.txt。

Robots.txt協(xié)議并不是一個(gè)規(guī)范，而只是約定俗成的，所以并不能保證網(wǎng)站的隱私。注意Robots.txt是用字符串比較來(lái)確定是否獲取URL，所以目錄末尾有和沒(méi)有斜杠“/”這兩種表示是不同的URL，也不能用”Disallow: .gif”這樣的通配符。

因?yàn)閞obots.txt是一個(gè)純文本文件，所以很多站長(zhǎng)在設(shè)置網(wǎng)站的這個(gè)文件時(shí)，隨便把系統(tǒng)中過(guò)的文本編輯器拿來(lái)就寫(xiě)了，然后上傳到自己的網(wǎng)站根目錄，以為這樣就萬(wàn)事大吉了，其實(shí)，你只做了一半因?yàn)槟愕鸟R虎。

已經(jīng)被無(wú)數(shù)站長(zhǎng)證實(shí)的事實(shí)是：搜索引擎更喜歡UTF-8編碼的robots.txt文件。Google Groups成員Phil Payne也是為此做出聲明說(shuō)：在常用的HTML文件編碼類型中，Google和其他的搜索引擎都更偏愛(ài)UTF-8編碼的robots.txt文件。甚至有的文件編碼形式都已經(jīng)被Google直接忽略掉了。

所以請(qǐng)問(wèn)，你網(wǎng)站根目錄下的robots.txt文件是UTF-8編碼嗎？如果不是，建議你修改為該編碼。