robots.txt文件用法舉例

1、禁止所有搜索引擎訪問網站的任何部分

　　User-agent: *

　　Disallow: /

　　2、允許所有的robot訪問(或者也可以建一個空文件 "/robots.txt")

　　第1種寫法

　　User-agent: *

　　Allow: /

　　第2種寫法

　　User-agent: *

　　Allow:

　　第3種寫法

　　User-agent: *

　　Disallow:

　　3、僅禁止Baiduspider訪問您的網站

　　User-agent: Baiduspider

　　Disallow: /

　　4、僅允許Baiduspider訪問您的網站

　　User-agent: Baiduspider

　　Allow: /

　　5、禁止spider訪問特定目錄

　　在這個例子中，該網站有三個目錄對搜索引擎的訪問做了限制，即robot不會訪問這三個目錄。

　　需要注意的是對每一個目錄必須分開聲明，而不能寫成 "Disallow: /cgi-bin/ /tmp/"。

　　User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/

　　6、允許訪問特定目錄中的部分url

　　User-agent: *

　　Allow: /cgi-bin/see

　　Allow: /tmp/hi

　　Allow: /~joe/look

　　7、使用"*"限制訪問url

　　禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)

　　User-agent: *

　　Disallow: /cgi-bin/*.htm

　　8、使用"$"限制訪問url

　　僅允許訪問以".htm"為后綴的URL。

　　User-agent: *

　　Allow: / .htm$

　　9、禁止訪問網站中所有的動態頁面

　　User-agent: *

　　Disallow: /*?*

　　10、禁止Baiduspider抓取網站上所有圖片，僅允許抓取網頁，禁止抓取任何圖片。

　　User-agent: Baiduspider

　　Disallow: /*.jpg$

　　Disallow: /* .jpeg$

　　Disallow: /* .gif$

　　Disallow: /* .png$

　　Disallow: /*.bmp$

　　11、僅允許Baiduspider抓取網頁和。gif格式圖片允許抓取網頁和gif格式圖片，不允許抓取其他格式圖片

　　User-agent: Baiduspider

　　Allow: .gif$

　　Disallow: /.jpg$

　　Disallow: / .jpeg$

　　Disallow: / .png$

　　Disallow: /.bmp$

　　12、僅禁止Baiduspider抓取，jpg格式圖片。

　　User-agent: /Baiduspider

　　Disallow: /.jpg$

　　附件：百度各個產品使用不同的user-agent

　　無線搜索 Baiduspider-mobile

　　圖片搜索 Baiduspider-image

　　視頻搜索 Baiduspider-video

　　新聞搜索 Baiduspider-news

　　百度搜藏 Baiduspider-favo

　　百度聯盟 Baiduspider-cpro

　　商務搜索 Baiduspider-ads

　　網頁以及其他搜索 Baiduspider

名稱欄目：robots.txt文件用法舉例
文章鏈接：http://www.kartarina.com/news26/163226.html

成都網站建設公司_創新互聯，為您提供網站設計、做網站、響應式網站、定制網站、微信小程序、靜態網站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯