Robots.txt禁止收錄協(xié)議的寫(xiě)法

　　很多網(wǎng)站優(yōu)化師做優(yōu)化的時(shí)候不知道robots是什么?更不知道怎么寫(xiě)一個(gè)robots文件。接下來(lái)路普科技教大家怎么寫(xiě)一個(gè)正確的robots.txt協(xié)議。

　　什么是Robots.txt?

　　Robots.txt 是網(wǎng)站和搜索引擎的協(xié)議的純文本文件，，當(dāng)一個(gè)搜索引擎蜘蛛來(lái)訪問(wèn)站點(diǎn)時(shí)，它壹 先爬行來(lái)檢查該站點(diǎn)根目錄下是否存在robot.txt，如果存在，根據(jù)文件內(nèi)容來(lái)確定訪問(wèn)范圍，如果沒(méi)有，蜘蛛就沿著鏈接抓取。Robots 放在空間的根目錄。

　　1、robots語(yǔ)法

　　User-agent: *

　　解釋?zhuān)?ldquo;*”星號(hào)表示允許擁有 蜘蛛來(lái) 抓取這個(gè)網(wǎng)站

　　注意： 個(gè)英文要大寫(xiě)，冒號(hào)是英文狀態(tài)下，冒號(hào)后面有一個(gè)空格，這幾點(diǎn)一定不能寫(xiě)錯(cuò)。

　　Disallow

　　解釋?zhuān)翰辉试S蜘蛛抓取

　　舉例：

　　Disallow: /*

　　解釋?zhuān)航顾阉饕嬷┲胱ト≌麄€(gè)網(wǎng)站(網(wǎng)站沒(méi)有做好之前一定不能讓搜索引擎蜘蛛抓取)

　　2、路徑后面有斜杠和沒(méi)有斜杠的區(qū)別

　　Disallow: /images/ Disallow: /images

　　解釋?zhuān)河行备苁墙棺トmages整個(gè)文件夾，沒(méi)有斜杠意思是凡是路徑里面有/images關(guān)鍵詞的都會(huì)被屏蔽

　　屏蔽動(dòng)態(tài)鏈接的方式

　　Disallow: /*=* Disallow: /*?* Disallow: /*&*

　　解釋?zhuān)盒翘?hào)代表?yè)碛?的字符，屏蔽擁有 帶有等于號(hào)、問(wèn)號(hào)、&號(hào)的鏈接(一定要有兩個(gè)*號(hào))

　　屏蔽css文件和js文件的寫(xiě)法

　　Disallow: /.css$

　　Disallow: /.js$

　　屏蔽一個(gè)文件夾，但是又能抓取其中一個(gè)文件的寫(xiě)法:/templets/qiche

　　Disallow: /templets

　　Allow: /qiche

　　解釋?zhuān)浩帘挝募Atemplets，但能抓取文件夾里的其中一個(gè)文件qiche

　　3、寫(xiě)robots.txt要注意的地方

　　斜杠：/ 代表整個(gè)網(wǎng)站

　　如果“/”后面多了一個(gè)空格，則屏蔽整個(gè)網(wǎng)站

　　不要禁止正常的內(nèi)容

　　生效時(shí)間是幾天到兩個(gè)月

具體寫(xiě)法：-------------------

User-agent: *
Disallow: /