robots.txt的写法经验

1、*：通配符，Disallow表示禁止抓取

2、User-agent: *Disallow: /data/Disallow: /dede/Disallow: /include/例：织梦的一些写法

3、写robots的时候第一个字母必须是大写。

4、冒号后面写一个空格，空格必须是在英文状态下书写的。Disallow:空格/

5、冒号的书写要在英文小写状态下书写。robots很重要，必须书写正确。

6、*是通配符，表示所有的意思。