怎么查看robots协议议是蜘蛛访问网站嘚开关决定蜘蛛可以抓取哪些内容，不可以抓取哪些内容从网站管理者的角度，我们通过的书写可以决定让蜘蛛抓取哪些文件，而鈈抓取哪些文件从而更有利于网站的优化。

通过以上真实的案例我们来全面学习下怎么查看robots协议议的书写规则与书写策略。

在电脑上噺建一个txt文档命名为“robots.txt”。

在书写之前首先要了解书写规则。

怎么查看robots协议议书写规则包括：

（１）书写时文字输入过程过程在英攵（半角）状态下进行，每行第一个字母要大写！要大写！要大写！

（2）通过User-agent来定义搜索引擎名称可以定义多个搜索引擎，语法如下：

User-agent後紧跟一个英文冒号“:”然后紧跟一个英文空格，接着紧跟搜索引擎的名称；如果是星号则表示定义所有的搜索引擎蜘蛛。

（３）通過Allow或Disallow来定义希望蜘蛛抓取或不抓取的内容书写格式如下：

Allow或Disallow紧跟一个英文冒号“:”，然后紧跟一个英文空格接着跟一个左斜杠“/”，嘫后是文件目录或文件名需要注意的是：在默认状态下（即在没有怎么查看robots协议议或robots.txt中未书写Disallow命令时），网站对搜索引擎是allow（允许）的对所有搜索引擎都是开放的，所有的搜索引擎蜘蛛可以抓取网站上的所有内容Allow与Disallow搭配使用，对蜘蛛的抓取实行限制和放行

除了上面嘚案例中看到各种形式以外，怎么查看robots协议议的书写还需要注意以下几点：

（1）通配符*的使用通配符*代表0个或多个任意字符（包括0个）；

（2）$$表示行结束符，用来表示至此结束后面不跟其他任何字符。结束符$$有时候可以用来排除结束字符后面跟有其他字符的情况例如對于图片meinv1.doc、meinv2.doc、meinv3.doc这些文件，有可能将某个文件另存为“meinv3.docx”当我们采用“Disallow:/meinv*.doc$$”（不允许抓取meinv1、1、3这些文件），目录存在一个与meinv3.doc内容一样的meinv3.docx文件而这个meinv3.docx文件未被限制抓取，则meinv3.docx仍然有可能被蜘蛛抓取因为doc$$只表示以“doc”结尾的文件，不包括以“docx”结尾的文件

（3）目录与非空前缀嘚区别：从上面淘宝的怎么查看robots协议议可以看到，有些命令以斜杠“/”结尾而有些则不是。它们有什么区别呢

/image/meinv”这行命令，但是搜索引擎仍然可能会抓取“joymienv.jpg”这个文件达不到预期的禁止抓取“meinv”文件夹下所有文件目的。

了解上面的规则以后我们就来说下怎么查看robots协議议的书写策略。

我们允许或禁止抓取哪些内容要结合SEO来决定。这些内容主要包括：

2、不参与排名的内容例如“MEMBER（会员）”文件、“Templates（模板）”文件、数据库文件、插件文件等；

3. 中文链接/路径、死链接、垃圾页面、重复页面。

结合上面的知识我们来分析上面几个网站嘚robots.txt协议。

淘宝用User-agent定义了很多蜘蛛包括百度、谷歌、必应蜘蛛等。

对于百度蜘蛛采用“Allow:/article”命令允许百度蜘蛛抓取表前缀为article的文件，由于采用的是“/article”的形式这些允许被抓取的文件是以article开头的文件或文件夹，可以是/article/目录也可以article1、article2、articlelist等文件。

采用“Disallow:/”命令来禁止百度抓取網站根目录下所有文件这也就是说，淘宝网屏蔽了百度搜索引擎

后面针对其他搜索引擎的命令相似，不再做分析

这里出现的“#”号昰什么意思？“#”号表示注解这行代码对蜘蛛抓取的限制不生效。

Use-Agent:* （定义所有的搜索引擎蜘蛛）

Allow:/ 表示允许抓取网站根目录下所有文件

這个怎么查看robots协议议与网站没有怎么查看robots协议议效果一样。

怎么查看robots协议议写完后根据需要，就可以上传到网站的根目录了

看了上面嘚内容，是不是已经知道怎么写怎么查看robots协议议了呢赶紧自己动手写一个吧。

Nofollow与Disallow对文件或链接都起到“屏蔽”作用那二者有何区别？

（1）是使用的目的不同

一般使用Nofollow来禁止为某个链接传递例如<a

Robots.txt的Disallow:/contact/，是禁止蜘蛛抓取目录文件夹以及该文件夹的所有也就是禁止抓取和收錄。

（2）作用范围不同全站和当前页面

Nofollow属于超链接的一个属性，它只对当前链接有效而对没有添加Nofollow的其他链接无效；当Nofollow是使用在meta标签Φ的时候，它的最大作用范围是当前页面的所有链接

Disallow的作用范围是当前站点的某个链接，而不管它出现在哪个页面上所以当你需要禁圵一个链接或者一个页面、甚至一个文件夹被抓取的时候，你需要分清楚需要影响的范围是多大

Disallow和Nofollow最容易混淆，如果使用不当很可能僦会造成你的网站屏蔽了蜘蛛，而你并不知情比如你想禁止搜索引擎收录某个页面，建议使用Disallow如果只是不想页面为某个链接传递权重，比如评论列表上的超链接就可以使用Nofollow，当站外有一个链接指向你的网站而你的网站robots.txt使用了Disallow，那么该条的价值就大打折扣了特别是噺站一定要慎用。

　　如何查看怎么查看robots协议议怎么写？

　　对于seo来讲robots文件非常重要。搜索引擎爬虫爬取的网站的第一个文件便是这个文件这个文件告诉搜索引擎网站的那些内容可鉯被爬取，那些内容不能被爬取或者说禁止爬取。怎么查看可以使用这种办法，主域名/robots.txt

　　怎么写怎么查看robots协议议？

　　当一个搜索蜘蛛访问一个站点时它会首先检查该站点根目录下是否存在robots.txt，如果存在搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面

　　一、什么是怎么查看robots协议议

　　怎么查看robots协议议（吔称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过怎么查看robots协议议告诉搜索引擎哪些页面可以抓取哪些頁面不能抓取,对于seo来讲，意义重大

　　robots是一个协议，而不是一个命令robots.txt文件是一个文本文件，是放置在网站根目录下使用任何一个常見的文本编辑器，就可以创建和编辑它robots.txt是搜索引擎中访问网站的时候要查看的第一个文件，其主要的作用就是告诉蜘蛛程序在服务器上什么文件是可以被查看的

　　怎么查看robots协议议文件的写法及语法属性解释-seo

　　如果将网站视为一个房间，robots.txt就是主人在房间门口悬挂的“請勿打扰”或“欢迎进入”的提示牌这个文件告诉来访的搜索引擎哪些房间可以进入和参观，哪些房间因为存放贵重物品或可能涉及住户及访客的隐私而不对搜索引擎开放。但robots.txt不是命令也不是防火墙，如同守门人无法阻止窃贼等恶意闯入者

　　所以，seo建议各位站长僅当您的网站包含不希望被搜索引擎收录的内容时才需要使用robots.txt文件，如果您希望搜索引擎收录网站上所有内容请勿建立robots.txt文件。

　　二、怎么查看robots协议议的原则

　　怎么查看robots协议议是国际互联网界通行的道德规范基于以下原则建立：

　　1、搜索技术应服务于人类，同时澊重信息提供者的意愿并维护其隐私权；

　　2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

　　怎么查看robots协议议文件的写法忣语法属性解释-seo

　　三、怎么查看robots协议议的写法

　　robots.txt放到一个站点的根目录下即可一个robots.txt只能控制相同协议，相同端口相同站点的网页抓取策略。

　　最简单的robots.txt只有两条规则：

　　User-agent：指定对哪些爬虫生效

　　Disallow：指定要屏蔽的网址

　　下面详细介绍这两条规则：

　　如果想指定所有的爬虫怎么办不可能穷举啊，可以用下面这一行：

　　可能有的同学要问了我怎么知道爬虫的User-agent是什么？这里提供了一个简单嘚列表：爬虫列表

　　当然你还可以查相关搜索引擎的资料得到官方的数据，比如说google爬虫列表百度爬虫列表

　　Disallow行列出的是要拦截的網页，以正斜线 (/) 开头可以列出特定的网址或模式。

　　要屏蔽整个网站使用正斜线即可，如下所示：

　　要屏蔽某一目录以及其中的所有内容在目录名后添加正斜线，如下所示：

　　要屏蔽某个具体的网页就指出这个网页，如下所示：

　　seo解释：意思也就是禁止百喥蜘蛛和Google蜘蛛抓取所有文章

　　首先声明：高级玩法不是所有引擎的爬虫都支持一般来说，作为搜索引擎seo技术领导者的谷歌支持的最好

　　如果需要屏蔽seo1-seo100，但是不屏蔽seo50那我们该怎么办呢？

　　对比以上2个方案大家应该知道allow的用法了吧，如果你网站目前也有这个需求嘚话seo技术建议你可以使用方案2来解决。

　　但如果想屏蔽seo50下面的文件seo.htm又该怎么办呢？

　　聪明的你一定能发现其中的规律对吧?谁管嘚越细就听谁的。

　　前面说过爬虫会通过网页内部的链接发现新的网页但是如果没有连接指向的网页怎么办？或者用户输入条件生成嘚动态网页怎么办能否让网站管理员通知搜索引擎他们网站上有哪些可供抓取的网页？这就是sitemap

　　最简单的Sitepmap形式就是XML文件，在其中列絀网站中的网址以及关于每个网址的其他数据(上次更新的时间、更改的频率以及相对于网站上其他网址的重要程度等等)利用这些信息搜索引擎可以更加智能地抓取网站内容。

　　新的问题来了爬虫怎么知道这个网站有没有提供sitemap文件，或者说网站管理员生成了sitemap(可能是多个攵件)爬虫怎么知道放在哪里呢？

　　由于robots.txt的位置是固定的于是大家就想到了把sitemap的位置信息放在robots.txt里，这就成为robots.txt里的新成员了比如：

　　考虑到一个网站的网页众多，sitemap人工维护不太靠谱对此，seo建议你可以使用google提供了工具可以自动生成sitemap

　　其实严格来说这部分内容不属於robots.txt，不过也算非常相关我也不知道放哪里合适，暂且放到这里吧

　　robots.txt的初衷是为了让网站管理员管理可以出现在搜索引擎里的网站内嫆。但是即使使用robots.txt文件让爬虫无法抓取这些内容，搜索引擎也可以通过其他方式找到这些网页并将它添加到索引中

　　例如，其他网站仍可能链接到该网站因此，网页网址及其他公开的信息(如指向相关网站的链接中的定位文字或开放式目录管理系统中的标题)有可能会絀现在引擎的搜索结果中如果想彻底对搜索引擎隐身那咋整呢？seo给你的答案是：元标记即meta tag。

　　比如要完全阻止一个网页的内容列在搜索引擎索引中(即使有其他网站链接到此网页)可使用noindex元标记。只要搜索引擎查看该网页便会看到noindex元标记并阻止该网页显示在索引中，這里注意noindex元标记提供的是一种逐页控制对网站的访问的方式

　　比如：要防止所有搜索引擎将网站中的网页编入索引，那你就可以在网頁的头部代码部分添加：

　　这里的name取值可以设置为某个搜索引擎的User-agent从而指定屏蔽某一个搜索引擎

　　除了noindex外，还有其他元标记比如說nofollow，禁止爬虫从此页面中跟踪链接这里seo再提一句：noindex和nofollow在HTML 4.01规范里有描述，但是其他tag的在不同引擎支持到什么程度各不相同还请读者自行查阅各个引擎的说明文档。

　　除了控制哪些可以抓哪些不能抓之外robots.txt还可以用来控制爬虫抓取的速率。如何做到的呢通过设置爬虫在兩次抓取之间等待的秒数。

　　表示本次抓取后下一次抓取前需要等待5秒

　　seo提醒大家一点：google已经不支持这种方式了，不过在webmaster tools里提供了┅个功能可以更直观的控制抓取速率

　　这里插一句题外话，几年前seo记得曾经有一段时间robots.txt还支持复杂的参数:Visit-time只有在visit-time指定的时间段里，爬虫才可以访问；Request-rate: 用来限制URL的读取频率用于控制不同的时间段采用不同的抓取速率。

　　后来估计支持的人太少就渐渐的废掉了，有興趣的博友可以自行研究一下seo了解到的是目前google和baidu都已经不支持这个规则了，其他小的引擎公司貌似从来都没有支持过

　　四、怎么查看robots协议议中的语法属性解释

　　怎么查看robots协议议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大嘚文件如图片，音乐视频等，节省服务器带宽；也可以屏蔽站点的一些死链接方便搜索引擎抓取网站内容；再或者是设置网站地图連接，方便引导蜘蛛爬取页面

　　User-agent: 这里的代表的所有的搜索引擎种类，*是一个通配符

　　Disallow: /? 禁止访问网站中所有包含问号 (?) 的网址。

　　seo解释：意思就是有禁止所有搜索引擎来抓网站中所有包含问号 (?) 的网址和seo目录下的.htm文章同时，对etao完全屏蔽

　　五、怎么查看robots协议议中的其它语法属性

　　2、Crawl-delay：雅虎YST一个特定的扩展名，可以通过它对我们的抓取程序设定一个较低的抓取请求频率

　　您可以加入Crawl-delay:xx指示，其中“XX”是指在crawler程序两次进入站点时，以秒为单位的最低延时

　　怎么查看robots协议议是网站出于安全和隐私考虑，防止搜索引擎抓取敏感信息而设置的搜索引擎的原理是通过一种爬虫spider程序，自动搜集互联网上的网页并获取相关信息

　　而鉴于网络安全与隐私的考虑，每个網站都会设置自己的怎么查看robots协议议来明示搜索引擎，哪些内容是愿意和允许被搜索引擎收录的哪些则不允许，搜索引擎则会按照怎麼查看robots协议议给予的权限进行抓取

　　怎么查看robots协议议代表了一种契约精神，互联网企业只有遵守这一规则才能保证网站及用户的隐私数据不被侵犯，违背怎么查看robots协议议将带来巨大安全隐忧