網站制作robots協議應該遵守么？

2013-04-26 分類：網站制作

前些年，網站建設行業的程序猿們肯定有聽說過robots協議，而且360與百度兩大搜索引擎關于“robots”協議也一直存在爭議，百度這邊呢，指責360違反商業道德，不遵守“robots協議”，而360又認為百度利用該協議作為不正當競爭的工具，想要壟斷整個搜索引擎市場。那么究竟robots協議功能是什么？有什么功能？那就跟隨成都創新互聯網站建設公司一起來了解下吧！

首先，robots協議全稱是Robots Exclusion Protocol，翻譯過來是機器人排除協議，又稱為爬蟲協議、機器人協議，是指網站所有者通過一個置于網站根目錄下的文本文件，即robots.txt，提示搜索引擎的網絡機器人哪些網頁不應被抓取，哪些網頁可以抓取。從本質上來說，robots協議是受訪網站與搜索引擎之間的一種交互方式。

網站制作

如果把網站比作一個對公眾開放的博物館，robots協議就相當于在博物館入口處懸掛的提示牌，告知游客哪些區域不對游客開放，如：“本館三樓301-302室為展品儲藏室、四樓為辦公區，謝絕參觀”。通常情況下，游客會根據提示牌的內容，進行參觀游覽。提示牌本身沒有強制力，如果要防止游客擅自闖入不開放區域，最好的辦法是采取一些“技術措施”，如在辦公區外設置欄桿，在儲藏室門上加鎖等。博物館設置提示牌的目的是為了便于游客更好的參觀，提示牌的內容對所有游客應一視同仁。如果提示牌規定禁止某一類人參觀，則需要有合理、正當的理由，在缺乏合理、正當理由的情況下，禁止某一類人進入一個對公眾開放的博物館參觀顯然是不合理的。

從《互聯網搜索引擎自律公約》第七條、第八條的規定來看，其包含兩個層次的含義，一方面從搜索引擎的角度來說，必須遵守受訪網站的robots協議，不得隨意抓取，另一方面從受訪網站的角度來說，其設置robots協議的行為本身應當具有行業公認合理的正當理由，不得利用robots協議進行不正當競爭行為。

而robots協議設置的初衷也正是如此，為了提示搜索引擎的網絡機器人更有效的抓取對網絡用戶有用的信息，從而更好的促進信息共享。但是對于robots協議存在的不正當競爭行為應該加以限制，也只有這樣才可以維護市場環境的公平競爭，從而促進互聯網行業的發展。

網站題目：網站制作robots協議應該遵守么？
文章起源：http://www.kartarina.com/news17/767.html

網站建設、網絡推廣公司-創新互聯，是專注品牌與效果的網站制作，網絡營銷seo公司；服務項目有網站制作等

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源：創新互聯

猜你還喜歡下面的內容