1、A. 禁止所有搜索引擎访问网站的任何部分：
User-agent: *
Disallow: /
2、B. 允许所有的robot 访问
User-agent: *
Disallow:
或者也可以建一个空文件 "/robots.txt" file
3、C. 禁止所有搜索引擎访问网站的几个部分（下例中的cgi-bin、tmp、private 目录）
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
4、D. 禁止某个搜索引擎的访问（下例中的Baiduspider）
User-agent: Baiduspider
Disallow: /
5、E. 只允许某个搜索引擎的访问（下例中的Baiduspider）
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
6、F. 允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
7、G. 使用"*"限制访问url
ser-agent: *
Disallow: /cgi-bin/*.htm
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
8、H. 使用"$"限制访问url
User-agent: *
Allow: .htm$
Disallow: /
仅允许访问以".htm"为后缀的URL。
9、I. 禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
10、J. 禁止 Baiduspider 抓取网站上所有图片
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
仅允许抓取网页，禁止抓取任何图片。
11、K. 仅允许Baiduspider 抓取网页和.gif 格式图片
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
