sitemap X怎么用来抓取网站

1、首先我们安装sitemap X这个软件，并且打开

3、在页面中我们可以看到工程名称，base地址，抓取文件目录深度等选项。按提示正常填写，重点是base地址请填写网站首页，抓取深度以网站的层次结构为主，可以选择最大值。然后下一步

5、在页面中，选择是否生成robots.txt文件，以及文字中我们允许与不允许的页面。然后直接点击抓爬即可。