robots《SEO浮球原理》seo实验指导书站

来源：蜘蛛抓取(WebSpider) 时间：2011-03-19 17:15 标签： seo实验指导书
山东省邹平县实验中学八年级英语上册《Unit 7 Will people have robots》(第一课时)学案_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
评价文档：
山东省邹平县实验中学八年级英语上册《Unit 7 Will people have robots》(第一课时)学案
阅读已结束，如果下载本文需要使用
想免费下载本文？
你可能喜欢查看: 1110|回复: 13
我用织梦建站对robots.txt设置心得
威望值经验值金钱
本帖最后由 siquanxin 于
14:15 编辑
做SEO优化的站长应该都知道robots.txt对于一个网站的重要性，特别是像我一样用类似织梦一类的CMS系统建站的朋友，更加应该明白，因为读取robots.txt内容基本上是搜索引擎蜘蛛进到你的网站后的第一件事。首先声明一点，我也是刚接触SEO不久的小白，写这篇文章的目的是自己最近由对robots.txt一无所知到稍有心得的一些体会，希望分享给大家，如果有什么地方说的不对，请原谅和包含。
具体的robots.txt的写法和命令我就不说了，可以在网上搜索，或者直接找一些站长平台生成。这里我主要说一下我遇到的一些情况吧，我是用织梦CMS做的网站，做好之后开始优化，发现原来存在一个robots.txt的重要文件，于是就赶紧上自己网站的空间文件目录里去找，结果真的被我找到 了，这应该是织梦系统自动生成的，这里还是要赞一下织梦。因为用织梦的都会有模板文件，这是不允许访问和收录的，还plus目录也是不能访问的。然后有的人说织梦的后台管理目录也要设置秤禁止访问，这个也有人说不需要，因为越是不让访问，越是暴漏了后台目录的地址，对网站安全不利。因为有很多站长因为禁止的目录的原因造成网站无法收录，这样后悔莫及，所以，我个人的认为是尽量减少禁止蜘蛛爬行的目录，这样风险就会小点，当然有特殊需要保护的，那就禁止吧，尽量去仔细查看一下你禁止爬行的目录的内容。然后robots.txt的另外一个作用就是对网站地图地址的公布，在这里公布了之后搜索引擎的蜘蛛才能读取你网站地图的内容，网站地图对于一个网站来说也特别重要。说到这里，给大家分享一个我的错误经历，刚开始我做好了robots.txt文件后，就在最后面加入了站点地图的公布内容，然后呢。然后上传了站点地图文件，以为万事大吉了，结果几天下来，感觉站点地图提交和没提交也没什么效果。后来一次偶然的机会，在一个站长工具上有个robots.txt检查，闲来无事就查一下吧，结果一查吓我一身冷汗，原来后面的公布网站地图的内容是失效的。到底怎么回事呢？下载文件仔细检查，一切正常啊，那个着急啊，后来经过仔细的检查，发现原来错误发生在我写代码的时候把一个半角的顿号+空格写成了全角的顿号。看起来真的没什么区别，好险，终于被我查到了，结果一改在检查，一切OK，所以提醒大家，在写代码的时候还是要注意全角和半角的区别。
还有一点提醒大家，就是你在robots.txt里做了网站地图的地址指定后，就要对其负责，为什么这么说呢，因为你不指定就算了，如果你指定了，那你的地图文件如果有问题，那还不如不指定呢，所以，记得定期更新你的地图文件，我的做法是更新了网站后就直接更新站点地图，然后在上传更新之后的站点地图文件。
这就是我最近对robots.txt文件的一些拙见，拿出来和大家分享一下，希望大家有什么好的经验通过A5站长平台分享给大家。下面把我的robots.txt的内容给大家分享一下：
User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
搜外论坛首发）原文出处链接：
搜外论坛原创作者：henryp1
汇科(奥科)电子机械.cn
威望值经验值金钱
不错啊，估计有用啊
威望值经验值金钱
谢谢楼主的分享
威望值经验值金钱
我最不会编辑的...就是这了....
发外链的地方永不删除
威望值经验值金钱
这个写了没用，不写也没用
//http://www.liuyabin.net/
威望值经验值金钱
写robots.txt很有必要，也很方便。
威望值经验值金钱
不错的介绍
威望值经验值金钱
我的站都没写这个。
威望值经验值金钱
这些都有什么作用，不大懂哦
威望值经验值金钱
这个肯定要写的，
威望值经验值金钱
看看这个 学习一下 还是不错的
www.gangguanchang.biz www.diwenguan.net www.
威望值经验值金钱
亲，你的末尾明显有两个链接，我给你编辑了，只能带一个哦。
百度快速seo提升至前三名最快隔日见效，联系QQ：，
威望值经验值金钱
谢谢楼主的分享
威望值经验值金钱
我是个新手，看了之后也还是不知道如何下手
搜外帅哥认证勋章
在搜外真人秀版块晒出自己的照片后，在这个地址提交认证资料：/bbs/thread--1.html，认证通过即可获得此勋章。
版主特殊贡献勋章
在职版主，分享超过10篇原创文章，解答回复超200个，获得后每月最少保持100个解答有效！可联系论坛客服：获得!
当前热门 /1
学会掌握百度百科的创建过程,做网络营销的同学都可以参与学习。
工作日:09:00-18:00 账号或帖子问题请您加QQ: / 广告业务: / SEO培训报班:
Powered by - -搜索引擎三巨头打的不亦乐乎，但偶尔也合作一下。去年Google，雅虎，微软就合作，共同遵守统一的。前两天三巨头又同时宣布，共同遵守的robots.txt文件标准。，，各自在自己的官方博客上发了一篇帖子，公布三家都支持的robots.txt文件及Meta标签的标准，以及一些各自特有的标准。下面做一个总结。
三家都支持的robots文件记录包括：
Disallow – 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件：
User-agent: *
Disallow: /
Allow – 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用，可以告诉蜘蛛某个目录下，大部分都不抓取，只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其他文件，而只抓取其中cd下的文件：
User-agent: *
Disallow: /ab/
Allow: /ab/cd
$通配符 – 匹配URL结尾的字符。如下面代码将允许蜘蛛访问以.htm为后缀的URL：
User-agent: *
Allow: .htm$
*通配符 – 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有htm文件：
User-agent: *
Sitemaps位置 – 告诉蜘蛛你的网站地图在哪里，格式为：
Sitemap: &sitemap_location&
三家都支持的Meta标签包括：
NOINDEX – 告诉蜘蛛不要索引某个网页。
NOFOLLOW – 告诉蜘蛛不要跟踪网页上的链接。
NOSNIPPET – 告诉蜘蛛不要在搜索结果中显示说明文字。
NOARCHIVE – 告诉蜘蛛不要显示快照。
NOODP – 告诉蜘蛛不要使用中的标题和说明。
上面这些记录或标签，现在三家都共同支持。其中通配符好像以前雅虎微软并不支持。百度现在也支持Disallow，Allow及两种通配符。Meta标签我没有找到百度是否支持的官方说明。
只有Google支持的Meta标签有：
UNAVAILABLE_AFTER – 告诉蜘蛛网页什么时候过期。在这个日期之后，不应该再出现在搜索结果中。
NOIMAGEINDEX – 告诉蜘蛛不要索引页面上的图片。
NOTRANSLATE – 告诉蜘蛛不要翻译页面内容。
雅虎还支持Meta标签：
Crawl-Delay – 允许蜘蛛延时抓取的频率。
NOYDIR – 和NOODP标签相似，但是指雅虎目录，而不是开放目录。
Robots-nocontent – 告诉蜘蛛被标注的部分html不是网页内容的一部分，或者换个角度，告诉蜘蛛哪些部分是页面的主要内容（想被检索的内容）。
MSN还支持Meta标签：
Crawl-Delay
另外提醒大家注意的是，robots.txt文件可以不存在，返回404错误，意味着允许蜘蛛抓取所有内容。但抓取robots.txt文件时却发生超时之类的错误，可能导致搜索引擎不收录网站，因为蜘蛛不知道robots.txt文件是否存在或者里面有什么内容，这与确认文件不存在是不一样的。
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。
相关帖子：爱站seo工具之robots.txt生成工具使用介绍 - 谷普下载 |
| 您所在的位置： >
> 爱站seo工具之robots.txt生成工具使用介绍爱站seo工具之robots.txt生成工具使用介绍编辑：谷普下载&&&&来源：未知&&&&更新：&&&&人气：加载中...&&&&字号：|标签：&&
&Robots&经常被一些同行朋友称作&萝卜丝&，是搜索引擎&网络爬虫排除协议&。通过Robots协议我们可以告诉搜索引擎，网站哪些页面允许抓取，哪些不允许。
如果你想禁止爬虫抓取网站某些目录，却又不熟悉robots文件的编写，你可以通过爱站seo工具包的robots制作工具，简单设置即可生成robots.txt文件。
如图，我们可以通过简单的选择和设置，生成robots.txt，并放在网站根目录下面，即可高速搜索引擎爬虫哪些哪些页面可以抓取，哪些页面不能够抓取。 |
评论列表（网友评论仅供网友表达个人看法，并不表明本站同意其观点或证实其描述）
分类选择您可能在找这些

我要回帖

更多关于 seo实验指导书 的文章

 

随机推荐