有些站长在优化网站的过程中會遇到这样一个问题：我网站的关键词布局没问题、内容质量没问题，并且规律性的更新网站内容同时也有持续在一些高权重平台发布外链，为什么百度蜘蛛突然不抓取网站就是不收录的的网页对于这样的问题，笔者认为首先要知道网站是否有屏蔽了百度蜘蛛突然不抓取网站的抓取因为有些站长在建站初期的无意识操作下屏蔽了百度蜘蛛突然不抓取网站，这也是比较常见的下面笔者来教大家怎样查看网站有没有屏蔽百度蜘蛛突然不抓取网站的抓取。
想知道网站有没有屏蔽百度蜘蛛突然不抓取网站的抓取有两种方法
第一种：查看网站的robots.txt文件，此文件一般在网站的根目录下显示如下：
这样的表示是屏蔽所有搜索引擎蜘蛛突然不抓取网站的抓取。
这样就表示屏蔽了百喥蜘蛛突然不抓取网站抓取
那要怎样才能让百度蜘蛛突然不抓取网站抓取呢？笔者举个例子如下：
上述的例子中，把Disallow: /改成指定的屏蔽目录就可以了通常情况下，网站的后台目录是需要屏蔽的只要指定的要屏蔽的目录，其他页面就会自动默认允许抓取了另外还有一種方法就是把Disallow: /改成Allow: /，Allow的意思是指允许抓取的目录或页面
第二种：查看网站的页面代码中是否设置屏蔽
通过以上两种方法都可以查看一个網站是否有屏蔽了百度蜘蛛突然不抓取网站的抓取。
版权声明：如非注明此文章为本站原创文章，转载请注明： 转载自
