1、找到想要了解的网站，这里我以百度为例。打开百度官网：www.baidu.com。
2、在域名栏输入：www.baidu.com/robots.txt。回车进入。如图。
1、“User-agent:”+蜘蛛爬虫代码，表示针对某个搜索引擎。
Baiduspider表示百度蜘蛛、Googlebot表示谷歌爬虫、Baiduspider-image表示百度图片蜘蛛、Sosospider搜搜蜘蛛、Sogou web spider搜狗蜘蛛……
“User-agent: * ”表示针对所有搜索引擎。
2、“Disallow:”+文件夹/名 表示不被允许访问的页面或栏目页。
3、“Allow: ”+文件夹/名 表示被允许访问的页面或栏目页。
4、“Sitemap:”+ 网站地图 告诉爬虫这个页面是网站地图
