该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
我们都知道我们网站的页面要想被百度收录必须经过百度蜘蛛的抓取,因此我们要经常关注我们网站页面被抓取的情况,如果遇到不被抓取的情况,那么就要引起我们的注意,我们要分析原因并且解决它。下面我们来看看平顶山中平瑞达科技为我们介绍的内容。
一、查看百度蜘蛛是否抓取页面的方法
这就要查看它的日记文件,一般是以log为后缀。百度蜘蛛是百度用于抓取网页的程序叫,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的 H T T P 状态码。
通过 F T P ,在网站根目录找到一个日志文件,文件名一般包含log,下载解压里面的记事本,这即是网站的日志,记录了网站被访问和操作的情况。
因为各个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。