常見的robots.txt文件用法實例：
1、禁止所有搜索引擎抓取網站的任何部分
User-agent: *
Disallow: /
這是禁止所有目錄和文件被所有搜索引擎收錄。網站還沒上線時，有的會先屏蔽所有蜘蛛抓取。
2、允許所有的spider抓取（或者也可以建一個空的robots.txt文件）
User-agent: *
Allow: /
這是允許所有搜索引擎抓取網站的任何部分，既然是允許所有文件被抓取，可以不用創建robtos.txt文件，即默認全部允許抓取。
3、禁止spider抓取特定目錄
User-agent: *
Disallow: /a/
Disallow: /b/
Disallow: /c/
這是禁止所有的spider抓取a、b、c目錄。這個規則我們最常用到，比如網站的程序后臺、程序目錄等都可以禁止spider抓取，以減少spider無意義的浪費我們的空間資源。
4、禁止spider抓取搜索結果頁面
User-agent: *
Disallow: /so_article?*
如果你網站的搜索結果頁面URL格式如：/so_article?keyword=搜索關鍵字，則按以上格式進行屏蔽，注意最后帶了一個星號*，代表屏蔽so_article?帶頭的所有URL。
對于大部分網站，常用的就是以上4種情況。
擴展閱讀：