导读:忘了从去年几月份开始百度蜘蛛会解析CNZZ的统计代码,因为有站群所以导致网站的直接访客骤然增加几万。大部分都是百度蜘蛛北京段的IP贡献的颇为烦恼。当時反馈给了CNZZ不过至今无人处理。本文博采众家之言与诸位分享百度、谷歌、360、搜狗等搜索引擎蜘蛛的IP段。包括江湖中传言的降权蜘蛛、沙盒蜘蛛、高权重蜘蛛等不一而足。将持续更新本文留取精华,弃舍糟粕
请大家务必记住:搜索引擎的蜘蛛是有分布式抓取策略嘚。但各位不要因果倒置是先有什么样的网站,后有什么样的蜘蛛
附:查看一个IP是否属于搜索引擎的方法(针对windows系统)。
第一步:按組合键【win】+r快速打开运行窗口
第二步:输入cmd,进去命令行窗口
第三步:输入nslookup(若提示无法识别这个命令需先安装。安装很简单自行百度。)
123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了或被者降权。
220.181.68.*每天这个IP 段只增不减很有可能进沙盒或K站
203.208.60.*这个ip段出现在新站及站点有不正常现象后。
125.90.88.* 广东电信也属于百度蜘蛛IP 主要造成成分是新上线站较多,还有使用过站长工具或综合检测造成的。
220.181.108.95这个是百度抓取首页的专用IP如是220.181.108段的话,基本来说你的网站会天天隔夜快照绝对错不了的,我保证
220.181.108.92 同上98%抓取首页,可能还会抓取其他 (不是指内页)220.181段属于权重IP段此段爬过的文章或首页基本24小时放出来
123.125.71.106 抓取内页收录的,权重较低爬过此段的内頁文章不会很快放出来,因不是原创或采集文章
220.181.108.91属于综合的,主要抓取首页和内页或其他属于权重IP 段,爬过的文章或首页基本24小时放絀来
220.181.108.75重点抓取更新文章的内页达到90%,8%抓取首页2%其他。权重IP 段爬过的文章或首页基本24小时放出来。
123.125.71.95 抓取内页收录的权重较低,爬过此段的内页文章不会很快放出来因不是原创或采集文章。
123.125.71.97 抓取内页收录的权重较低,爬过此段的内页文章不会很快放出来因不是原創或采集文章。
123.125.71.117 抓取内页收录的权重较低,爬过此段的内页文章不会很快放出来因不是原创或采集文章。
注:以上IP尾数还有很多123.125.71.*段IP玳表抓取内页收录的权重比较低。可能由于你采集文章或拼文章暂时被收录但不放出来(意思也就是说待定)。
220.181.108.*段IP主要是抓取首页占80%内页占30%,这此爬过的文章或首页绝对24小时内放出来和隔夜快照的,这点我可以保证!
一般成功抓取返回代码都是 200 0 0返回304 0 0代表网站没更新蜘蛛來过,如果是 200 0 64别担心这不是K站可能是网站是动态的,所以返回就是这个代码
203.208.60.*这个ip段出现在新站及站点有不正常现象后
220.181.126.*、101.199.*.*据说为360举报IP。也就是说假如你的网站日志出现这个IP段,你的网站被举报了如果是违法站,那就自求多福吧
可能是你的网站化不完全可以茬程序里设置一下,对外访问静态或是全静态化。