Robots.txt禁止收錄協(xié)議的寫(xiě)法
很多網(wǎng)站優(yōu)化師做優(yōu)化的時(shí)候不知道robots是什么?更不知道怎么寫(xiě)一個(gè)robots文件。接下來(lái)路普科技教大家怎么寫(xiě)一個(gè)正確的robots.txt協(xié)議。
什么是Robots.txt?
Robots.txt 是網(wǎng)站和搜索引擎的協(xié)議的純文本文件,,當(dāng)一個(gè)搜索引擎蜘蛛來(lái)訪問(wèn)站點(diǎn)時(shí),它壹 先爬行來(lái)檢查該站點(diǎn)根目錄下是否存在robot.txt,如果存在,根據(jù)文件內(nèi)容來(lái)確定訪問(wèn)范圍,如果沒(méi)有,蜘蛛就沿著鏈接抓取。Robots 放在空間的根目錄。
1、robots語(yǔ)法
User-agent: *
解釋?zhuān)?ldquo;*”星號(hào)表示允許擁有 蜘蛛來(lái) 抓取這個(gè)網(wǎng)站
注意: 個(gè)英文要大寫(xiě),冒號(hào)是英文狀態(tài)下,冒號(hào)后面有一個(gè)空格,這幾點(diǎn)一定不能寫(xiě)錯(cuò)。
Disallow
解釋?zhuān)翰辉试S蜘蛛抓取
舉例:
Disallow: /*
解釋?zhuān)航顾阉饕嬷┲胱ト≌麄€(gè)網(wǎng)站(網(wǎng)站沒(méi)有做好之前一定不能讓搜索引擎蜘蛛抓取)
2、路徑后面有斜杠和沒(méi)有斜杠的區(qū)別
Disallow: /images/ Disallow: /images
解釋?zhuān)河行备苁墙棺トmages整個(gè)文件夾,沒(méi)有斜杠意思是凡是路徑里面有/images關(guān)鍵詞的都會(huì)被屏蔽
屏蔽動(dòng)態(tài)鏈接的方式
Disallow: /*=* Disallow: /*?* Disallow: /*&*
解釋?zhuān)盒翘?hào)代表?yè)碛?的字符,屏蔽擁有 帶有等于號(hào)、問(wèn)號(hào)、&號(hào)的鏈接(一定要有兩個(gè)*號(hào))
屏蔽css文件和js文件的寫(xiě)法
Disallow: /.css$
Disallow: /.js$
屏蔽一個(gè)文件夾,但是又能抓取其中一個(gè)文件的寫(xiě)法:/templets/qiche
Disallow: /templets
Allow: /qiche
解釋?zhuān)浩帘挝募Atemplets,但能抓取文件夾里的其中一個(gè)文件qiche
3、寫(xiě)robots.txt要注意的地方
斜杠:/ 代表整個(gè)網(wǎng)站
如果“/”后面多了一個(gè)空格,則屏蔽整個(gè)網(wǎng)站
不要禁止正常的內(nèi)容
生效時(shí)間是幾天到兩個(gè)月
具體寫(xiě)法:-------------------
User-agent: *
Disallow: /
