今天小編來(lái)講解下robots是什么意思?robots文件怎么寫?網(wǎng)站的有些欄目目錄被抓取是有風(fēng)險(xiǎn)的，或者是因?yàn)椴荒鼙蛔ト?，robots需要告訴蜘蛛人網(wǎng)站允許與不允許的情況!

　　? robots是什么意思?

　　Robots.txt全稱為“網(wǎng)絡(luò)爬蟲排除協(xié)議”。網(wǎng)站使用Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以爬行，哪些頁(yè)面不能爬行。

　　主流搜索引擎將遵守Robots協(xié)議。而Robots協(xié)議是第一個(gè)需要爬蟲爬行的文件。

　　爬行Robots后，爬蟲程序?qū)㈤喿x上述協(xié)議，并且必須遵守協(xié)議才能爬行網(wǎng)站并包含網(wǎng)站。

　　Robots文件是一個(gè)純文本文件，這是一個(gè)常見(jiàn)的txt文件。在此Robots中，網(wǎng)站管理員可以聲明他們不希望被機(jī)器人訪問(wèn)的站點(diǎn)部分，或者指定搜索引擎只包含指定的內(nèi)容。因此，Robots的優(yōu)化將直接影響到搜索引擎對(duì)網(wǎng)站的收錄。

　　robots文件必須要存放在網(wǎng)站的根目錄下。也就是 域名/robots.txt 是可以訪問(wèn)文件的

　　? Robots.txt寫法

　　1、禁止所有搜索引擎抓取網(wǎng)站的任何部分

　　User-agent: *

　　Disallow: /

　　有一些新手朋友誤把以上robots規(guī)則理解為允許所有搜索引擎抓取網(wǎng)站的任何部分，導(dǎo)致搜索引擎不收錄網(wǎng)站。

　　2、允許所有的spider抓取(或者建一個(gè)空的robots.txt文件)

　　User-agent: *

　　Allow: /

　　3、以上robots規(guī)則是允許所有搜索引擎抓取網(wǎng)站的任何部分，但為避免錯(cuò)誤，寶雞SEO公司建議建一個(gè)空的robots.txt文件即可。

　　禁止spider抓取特定目錄

　　User-agent: *

　　Disallow: /a/

　　Disallow: /b/

　　robots在禁止抓取特定目錄、特定頁(yè)面時(shí)經(jīng)常會(huì)被用到，也可以在URL優(yōu)化中規(guī)范URL，集中URL權(quán)重

　　? robots的注意事項(xiàng)

　　1. user-agent這句代碼表示那個(gè)搜索引擎準(zhǔn)守協(xié)議。user-agent后面為搜索機(jī)器人名稱，如果是“*”號(hào)，則泛指所有的搜索引擎機(jī)器人;案例中顯示“User-agent: *” 表示所有搜索引擎準(zhǔn)守，*號(hào)表示所有。

　　2. 代碼后需要冒號(hào)+空格+斜桿 ，比如“Disallow: /*?* ”

　　3. 當(dāng)網(wǎng)站為靜態(tài)路徑時(shí)，需要屏蔽掉所有動(dòng)態(tài)鏈接。網(wǎng)站中存在一種鏈接被收錄即可，避免一個(gè)頁(yè)面2個(gè)鏈接。代碼如下“Disallow: /*?* ”表示禁止所有帶 ?號(hào)的網(wǎng)址被爬取。通常動(dòng)態(tài)網(wǎng)址帶有“?”“=”等。

　　? robots誤區(qū)

　　1. 網(wǎng)站上的所有文件都需要蜘蛛抓取，那就沒(méi)必要在添加robots.txt文件了。反正如果該文件不存在，所有的搜索蜘蛛將默認(rèn)能夠訪問(wèn)網(wǎng)站上所有沒(méi)有被口令保護(hù)的頁(yè)面

　　每當(dāng)用戶試圖訪問(wèn)某個(gè)不存在的URL時(shí)，服務(wù)器都會(huì)在日志中記錄404錯(cuò)誤(無(wú)法找到文件)。每當(dāng)搜索蜘蛛來(lái)尋找并不存在的robots.txt文件時(shí)，服務(wù)器也將在日志中記錄一條404錯(cuò)誤，所以應(yīng)該在網(wǎng)站中添加一個(gè)robots.txt

　　3. 在robots.txt文件中設(shè)置所有的文件都可以被搜索蜘蛛抓取，這樣可以增加網(wǎng)站的收錄率

　　網(wǎng)站中的程序腳本、樣式表等文件即使被蜘蛛收錄，也不會(huì)增加網(wǎng)站的收錄率，還只會(huì)浪費(fèi)服務(wù)器資源。因此必須在robots.txt文件里設(shè)置不要讓搜索蜘蛛索引這些文件

　　總結(jié)：以上就是小編整理的robots是什么意思?robots文件怎么寫?，希望對(duì)您有幫助，如果您對(duì)robots文件還有疑問(wèn)，請(qǐng)聯(lián)系我們的熱線電話或SEO診斷客服，可以365天曝光自己的企業(yè)品牌我們竭誠(chéng)為您服務(wù)!帶來(lái)很多意向客戶咨詢!