robots.txt文件，提起这个概念，可能不少站长还很陌生：什么是robots.txt文件？robots.txt文件有什么作用？如何配置robots.txt文件？如何正确使用robots.txt文件？下面，就这些问题进行剖析，让你深入认识robots.txt文件。
robots.txt文件是什么？
robots.txt是一个简单的以.txt结尾的文本文件，是搜索引擎Robot（也叫搜索引擎机器人）程序抓取网页时要访问的第一个文件。
robots.txt文件有什么作用？
通过robots.txt文件，可以和各大搜索引擎很友好的对话，引导搜索引擎机器人抓取你推荐的网页，避免一些意义不大或无用网页，例如网站后台、会员交互功能等，这在一定程度上也节省服务器网络资源。另外，robots.txt文件对SEO的意义也很重要，可以很好的避免重复、相似网页，以及一些关键字权重流失；写好robots.txt文件，是每个SEOer必做的功课之一。
如何配置robots.txt文件？
配置robots.txt文件很简单，桌面-&右键-&文本文档，命名为robots.txt，注意这个文档是以&.txt&结尾。在robots.txt文件里写好规则，用FTP软件上传到你的网站根目录下即可。想检查robots.txt文件配置是否正确，只用在浏览器输入网址:http://你的域名/robots.txt，看能否正常访问即可。
robots.txt文件写法
robots.txt文件写法非常简单，通常以User-agent开始，包含一行或多行Disallow或Allow记录；在robots.txt文件中可以使用&#&进行注释，具体使用方法和PHP一样；另外，robots.txt文件支持*|$|?等通配符。看个简单的例子
# robots.txt文件怎么写？
User-agent: *& #对所有搜索引擎Robot开放
Disallow: /wp-content/ #禁止访问wp-content目录下任何内容
关于robots.txt文件函数说明：
User-agent
该项的值用于描述搜索引擎Robot的名称，至少要有一条User-agent记录；如果User-agent的值为*，则表示该协议对所有搜索引擎Robot都有效；
在robots.txt文件中&User-agent: *&只能有一条，可以同时出现&User-agent: Baiduspider&和&User-agent: Googlebot&的情况。
附：常见搜索引擎蜘蛛Robots名称
Baiduspider
ia_archiver
FAST-WebCrawler
该项的值用于描述不希望被Robot访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被Robot访问到；
注意&Disallow: /test和&Disallow: /test/&的区别，虽说只区别于一个反斜杠&/&，不过意义完全不同。&Disallow: /test&表示可以禁止的URL包括：/test、/testabc.html、/test/abc这三种形式；&Disallow: /test/&则允许Robot访问/test、/testabc.html，禁止访问/test/abc这种形式。
如果Disallow记录的值为空，即&Disallow:&格式，则说明该网站的所有内容可以被任何搜索引擎Robot抓取；在robots.txt文件，如果有声明User-agent，至少要有一条Disallow记录。
该项和Disallow对立，表示允许搜索引擎Robot访问指定内容。
robots.txt文件用法实例
允许所有搜索引擎Robot访问
User-agent: *
或者robots.txt文件为空，什么也不写，也能达到同样的效果。
禁止所有搜索引擎Robot访问网站的任何内容
User-agent: *
Disallow: /
禁止所有搜索引擎Robot访问网站的指定内容（如下例中的aaa、bbb、ccc目录）
User-agent: *
Disallow: /aaa/
Disallow: /bbb/
Disallow: /cccc/
禁止指定搜索引擎Robot访问（如下例中的Google机器人：Googlebot）
User-agent: Googlebot
Disallow: /
只允许指定搜索引擎Robot访问（如下例中的百度机器人：Baiduspider）
User-agent: Baiduspider
User-agent: *
Disallow: /
向搜索引擎提交站点地图
http://你的域名/sitemap.xml
目前各大搜索引擎对站点地图支持良好，除了sitemap.xml这种格式外，还推荐这种静态格式，好处多多，不再累述。
robots.txt文件十个注意事项
1）robots.txt文件名必须全部小写，不要为追求个性写成RoboTs.txt等形式；
2）robots.txt文件只能放在网站根目录下面，其它位置无效；
3）robots.txt文件内容对大小写敏感，尤其是包含网址的部分。虽说很多搜索引擎对网址之外的部分没有严格的大小写限制，但是从搜索引擎的严谨性和个人对网站的要求方面来说，还是建议区分大小写；
4）通常，robots.txt文件里只有三个函数：User-agent、Disallow和Allow，通常我们使用前两个组合限制抓取就可以了，个人认为没有必要使用Allow，默认搜索引擎是会抓取你网站所有内容的；
5）robots.txt文件里不要放其它无关内容，要严格遵从规范。可以参考写法；
6）robots.txt文件只是和搜索引擎的一个&君子协议&，并不意味着每个搜索引擎都严格遵守robots.txt的规则，按照你的意图来抓取网页，要清楚，你的网站在搜索引擎面前没有什么&秘密&；
7）要检查robots.txt文件是否达到了预期的效果，可以通过谷歌网站站长工具中的robots.txt工具测试；
8）禁止搜索引擎收录单独页面。在之前&&一文中，介绍过Robots Meta标签，它区别于robots.txt文件。robots.txt文件主要是限制搜索引擎对整个站点或者目录的访问情况，而Robots Meta标签则是针对一个具体的页面。通常Robots Meta标签的默认值是index和follow，只有inktomi除外，对于它，默认值是index,nofollow。Robots Meta标签总共有四种组合：
&meta name="robots" content="index,follow"&或&meta name="robots" content="all"&
&meta name="robots" content="noindex,follow"&
&meta name="robots" content="index,nofollow"&
&meta name="robots" content="noindex,nofollow"&或&meta name="robots" content="none"&
9）目前绝大多数搜索引擎是支持robots.txt文件规则的，Robots META标签则不是。Google一如既往地强大，对这两种形式都完美支持；
10）建议站点根目录下要放一个robots.txt文件，哪怕是空白文件也好。虽说不放robots.txt文件也没什么影响，但是考虑到Robot访问站点时，第一目标就是robots.txt文件，还是顺着它的意思办吧，谁让游戏规则是它定的呢？！
以上就是robots.txt文件配置和使用方法详解了，希望能对你有所帮助！有关robots.txt文件的写法、用法，如果还有什么疑问，可以给我留言。
阅读(...) 评论()客服精灵 竞价推广必备软件
增值电信业务经营许可证：苏B2-
编辑热线：6-808
A5创业网 版权所有
扫一扫关注最新创业资讯最近海涛团队忙于业务扩展，在自媒体发的干货文章不多，随着搬到武汉后团队的扩充，我们会定期发表一些实操性的项目，下面给大家讲一个技术刷的技术文章，大家可以按照我的操作方法去试试假设你的网站有一个关键词在百度有排名，如果这个关键词的百度指数很高的话，那这个网站的百度权重一定会很高。那么，我们可以思考到，假设我们能够把网站的独有一个关键词的百度指数刷上去，那么这个网站的百度权重一定很高。是什么影响关键词的百度指数呢?就是网民用百度搜索这个关键词的次数，所以只需要把网站独有的关键词的搜索次数刷上去就可以快速提升百度权重了。如何进行刷关键词的搜索次数呢?这里我们需要3段代码和一个工具。把三段代码分别复制到记事本中，并把记事本的名称分别改为a.html，b.html，baidu.html，如图所示&其中，文件a.html为：&script&function aa(){window.location.href=/s?wd=XXXXX";}setTimeout(aa,1500);&/script&文件b.html的代码为：&script&window.location.href=/s?wd=XXXXX";;&/script&其中，文件baidu.html的代码为：&FRAMESET border=0 frameSpacing=0 rows=500,* frameBorder=1&&FRAME name=primaryFrame src="b.html" frameBorder=0 noResize scrolling=no&&frame src="a.html"&&/FRAMESET&&noframes&&/noframes&注意：三个文件中涉及到“XXXXX”为你所要刷的关键字。接下来，我们把这三个文件上传到你的网站空间的根目录，测试一下“/baidu.html”可以发现，点开这个链接就是模拟的百度搜索“XXXXX”这个关键词。达到了我们模拟百度搜索关键词的目的。最后，我们要用到的一款工具就是流量宝或者流量精灵这种刷网站流量的工具，在软件中添加了上面的链接，然后进行疯狂的刷流量就可以了。我们剩下要做的就是每天打开软件刷流量，坚持大概一个月的时间，你所刷的那个关键词的百度指数就会大幅度增加，这时你的网站权重也会暴增的。来源：朱海涛自媒体
@你关注的人或派友
亲，先登录哦！
请输入姓名：
请输入对方邮件地址：
您的反馈对我们至关重要！你的位置： >
> 提高网站权重四法
最近落水鱼的博客是发了疯一样，百度快照怎么都不更新，所以落水鱼一直在找问题，从内链，到外链，到RSS的写法，robot的写法，可以说是落水鱼能想到的都想到了，可是百度还是不更新，无疑说明一点，我的网站权重太低了，今天就来说说如何提高网站权重吧！
1.网站本身的质量
　　一个网站本身质量的好坏，可以通过用户体验效果得以反馈。网站的标题、内容页的标题与内容相关程度，如果你的网站标题是“网站权重”，那么其网站内容就应该围绕“网站权重”来展开，并且尽量描述的详细一点。从而让用户尽可能从网站权重相关的方面得以满足。
2.网站的结构层次
　　网站是否存在死链接，网站是否存在无内容页面的路径，网站是否存在重复页面路径，网站的导航是否可以顺利的让蜘蛛爬取，网站的导航中目录的名称和网站主题是否密切相关。网站目录是否存在重复等等。一个网站是否好或者坏。并不是一看就知道的。得依靠数据说话。而一般判定的基本方法就是可以观察PV与IP的比值。比值越高，相对来说，这个网站的用户体验效果也好。
3.网站的更新规律
　　有规律的更新网站内容，搜索引擎相对来说也会更加喜欢。当然这又会与网站所更新内容的质量高低有关。搜索引擎都会喜欢原创的东西，如果真的不会写原创的内容，写伪原创也可以，如果你更新的内容都是“原创”的东东，别人都没有的，你有，这才会引起关注。长此以往，你的网站权重当然会升高，相应的关键词排名也就自然上升了。简单的一句话来说呢就是定时更新原创内容。
4.网站的外链质量
　　外链的质量并不是说用个数的多少来进行权衡，这还要考虑到外链的权重、相关性等方面的因素。就算你有100个外链，但其权重及相关程度都不行的话，可能不及人家1个相关程度极高的高权重外链。以前PR相当于是个标准，但是现在还是建议自己手动分析一下对方的网站比较妥当。
　　相对而言呢，网站的更新规律和外链质量是最重要的，当然，落水鱼也不敢保证，如果做到了以上四点呢，你的网站权重一定上升，还是上次说的，，我们只有不断努力，不断奋斗，才能有好的收获，我们的网站权重才能上去。
转载请注明： &
与本文相关的文章robot文件中有必要对图片禁止吗？ - 搜外问答
robot文件中有必要对图片禁止吗？如图
2,646 次浏览
分享到微信
等 2 人赞同该回答
个人认为图片的优化处理分两种情况来区分：
1、网站设置过程中会涉及到的一些图片，优化的时候建议CSS调用，并定义图片的大小，重要图片也要进行alt标注；
2、对于网站的产品图片，文章内容中的图片，或者能够参与到排名的图片，除了要定义大小，设置alt属性，还要尽可能的让搜索引擎蜘蛛抓取，的搜索量占百度整个搜索的8%，图片类的也是非常之高的，所以不可以丢掉。
对于文件的写法，每个网站都不同，但是研究一些网站的写法，一般不会刻意去屏蔽对于图片的抓取，而robots文件主要是控制蜘蛛抓取的合理性，对于第1类不参与排名获取流量的图片，如果出现频繁抓取的情况，可以适当屏蔽，让搜索引擎蜘蛛抓取资源更倾向于内容，对于第2类建议不要屏蔽。
没必要，一般图片搜索还能导入流量。
Google官方发布过图片搜索优化技巧,旨在提高图片搜索流量。
我的网站被降权了，现在靠一些图片导入流量
图片也可以被收录，可以引入不少流量，注重图片的写法，还能依靠这个增加网站权重。
这个可以设置，如果网站不是图片为主的话，个人建议设置。
楼主可以去了解一下，图片也是可以做优化导流量的，如果做好了，对网站还是有不少帮助的
不建议这样做，图片搜索人群也非常多，可以给网站代来很可观的流量。
一般是不用屏蔽的，百度也有一个的，要是收录了，并且图片搜索时排在前面，还能带来流量。一般是对于那些大型网站，其百度抓取压力过大了，就可以适当调控一下百度的抓取压力值，没必要屏蔽
我个人建议可以针对模版图片进行屏蔽（比如说：关于我们，在线QQ），其它可以不用屏蔽
30天内高手都在交流什么
(1 个回答)
(1 个回答)
(2 个回答)
(3 个回答)
(5 个回答)
(9 小时前)
(11 小时前)
(12 小时前)
(12 小时前)
(13 小时前)
专注、、运营
给问题设置一定金额，将更容易获得关注与回答。
选择支付方式