如何判断网站来源ip是否采集

1、# ip在第9列 103.61.144.2

2016-12-20 00:00:02 60.191.0.184 GET /aluTrade/info.aspx id=2710460 80 - 103.61.144.2 - - 500 0 0 265

2、# 查看当天ip来访次数前50名

cat 日记文件.log|awk '{print $9}'|sort|uniq -c|sort -nr|head -50

# $9 是ip所在的列

3、# 查看当天超过1w访问的ip（根据网站规模大小而定）

cat u_ex161220.log|awk '{print $9}'|sort|uniq -c|sort -nr|head -50 > 1.txt；

cat 1.txt|awk '{if($1>=10000)print $2}'

4、# nslookup ip

cat ip.txt|while read line;do echo $line;nslookup $line|grep -E "NXDOMAIN|name|SERVFAIL";done

5、# 排除蜘蛛ip

cat ip.txt|while read line;do echo $line;nslookup $line|grep -E "NXDOMAIN|name|SERVFAIL";done|sed 'N;s/\n/\t/g' > 2.txt；

cat 2.txt|grep -E -v 'googlebot|Baiduspider'

# 排除谷歌和百度的，如有其它的可以继续加 'googlebot|Baiduspider|**'

6、# 收集不是蜘蛛的ip

cat 2.txt|grep -E -v 'googlebot|Baiduspider'|awk '{print $1}'

7、# 到这大家就可以封禁ip

但是有些蜘蛛nslookup也查看不来，就要靠大家平时积累了，已防止屏蔽蜘蛛的ip。如何大家还不确定，可以看看这些ip都采集了那些页面，什么时间采集的。