robots協議是網站和搜索引擎爬蟲的溝通方式，用來指導搜索引擎更好地抓取網站內容，更好的保護用戶的隱私和版權信息。robots可以制止不必要的搜索引擎占用服務器，對于大多數非圖形類網站來說也沒有太大的意義，但是卻耗用了大量的帶寬。網站優化切忌的就是重復頁面，但是不少人沒有重視，現在的主流網站程序都很容易自動產生一些沒用的頁面，比如緩存頁面，搜索頁面等，這些頁面內容往往和主體內容相重復，沒有什么用，如果被蜘蛛抓到，那么對網站排名會有嚴重的負面影響。可以大大的增強蜘蛛網站的爬取效率，幫助搜索引擎理解哪些重要的內容，不再浪費到其它無用的頁面上。搜索引擎喜歡原創內容，而這一方面并不是單單是指文章的原創度，另一方面網站模板的原創度也是非常重要的評分點，所以如果自己網站的模板不是原創，要屏蔽css目錄和模板目錄。可以制止搜索引擎對非公開頁面的爬行與索引，如網站的后臺程序、隱私頁面、圖片目錄、管理程序，事實上，對于某些在運行中面臨頁面的網站來說，如果沒有配置robots協議，搜索引擎甚至會索引那些臨時文件。
