百度蜘蛛(Baiduspider)爬取是搜索引擎获得页面内容的一个重要的途径，通过蜘蛛的抓取可以得到一个页面的最主要的内容从而收录百度数据库系统，每次抓取之后都会再与数据库原有的信息进行比对，来确定页面的总体质量。

（博主注：最近明月的小博客竟然“攻击”不断，大部分是扫描和SQL注入类的，甚至造成前两天“主机资源耗尽”又被关停了，于是狠下心好好的分析了一下服务器日志，找出了不少可以IP，直接给屏蔽掉了，没有想到的是这些IP里竟然有6-7个是百度蜘蛛的IP，无语了都，还好及时通过百度站长平台里的“抓取诊断”发现了，要不后果真是不敢设想呀！因为需要知道百度蜘蛛常见IP，所以就搜索了一下相关的资料，获得了下文的IP整理，就当是一次记录吧，指不定啥时候就要用上了。）

那么，每当蜘蛛来抓取的时候都会被网站日志文件记录下来，具体包括抓取时间，抓取的页面以及蜘蛛来路IP地址，上次说到百度蜘蛛(Baiduspider)ip来路基本能够反映出不同蜘蛛对站点不同页面的喜好程度，从侧面也反映出整个网站不同页面的权重值，通过自己一系列的分析，可以较为准确的评估整站的权重分布，对于seo、文章内容价值、用户体验都起到很好的参考价值。

• 123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了，或被者降权。
• 220.181.68.*每天这个IP段只增不减很有可能进沙盒或K站。
• 203.208.60.*这个ip段出现在新站及站点有不正常现象后。
• 125.90.88.*广东茂名市电信也属于百度蜘蛛IP主要造成成分，是新上线站较多，还有使用过站长工具，或SEO综合检测造成的。
• 220.181.108.95这个是百度抓取首页的专用IP，如是220.181.108段的话，基本来说你的网站会天天隔夜快照。（悲剧的我竟然屏蔽了这个IP）
• 220.181.108.92同上98%抓取首页，可能还会抓取其他(不是指内页)220.181段属于权重IP段此段爬过的文章或首页基本24小时放出来。（嗯，还有这个也屏蔽了，晕死了！）
• 123.125.71.106抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。（这个也有，汗！）
• 220.181.108.91属于综合的，主要抓取首页和内页或其他，属于权重IP段，爬过的文章或首页基本24小时放出来。
• 220.181.108.75重点抓取更新文章的内页达到90%，8%抓取首页，2%其他。权重IP段，爬过的文章或首页基本24小时放出来。（这个，……！）
• 220.181.108.86专用抓取首页IP权重段，一般返回代码是30400代表未更新。（还有这个……）
• 123.125.71.95抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
• 123.125.71.97抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
• 220.181.108.89专用抓取首页IP权重段，一般返回代码是30400代表未更新。（好吧，220开头的好像都被我屏蔽了，下手真心有点儿太狠了！）
• 220.181.108.94专用抓取首页IP权重段，一般返回代码是30400代表未更新。
• 220.181.108.97专用抓取首页IP权重段，一般返回代码是30400代表未更新。
• 220.181.108.80专用抓取首页IP权重段，一般返回代码是30400代表未更新。
• 220.181.108.77专用抓首页IP权重段，一般返回代码是30400代表未更新。
• 123.125.71.117抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或是采集文章。

注：以上IP尾数还有很多，但段位一样的123.125.71.*段IP代表抓取内页收录的权重比较低，可能由于你采集文章或拼文章暂时被收录但不放出来.。

• 220.181.108.83专用抓取首页IP权重段，一般返回代码是30400代表未更新。
• 220.181.108.*段IP主要是抓取首页占80%，内页占30%，这此爬过的文章或首页，绝对24小时内放出来和隔夜快照的!

一般成功抓取返回代码都200，返回304代表网站没更新。

66.249.16.*出现的站点均为新站或站点出现无法访问情况后再次出现的ip段

203.208.60.*这个ip段出现在新站及站点有不正常现象后

220.181.126.*、101.199.*.*据说为360举报IP。也就是说，假如你的网站日志出现这个IP段，你的网站被举报了。如果是违法站，那就自求多福吧。

Yahoo搜索引擎蜘蛛IP地址

好了，终于通过此文提供的IP，在屏蔽里排除了百度蜘蛛的IP了，总结下来就是“对自己真的是太狠了”，看来一些基本的数据必须要保留呀！就像此文一样，保存好，随时都可以用来参考的！屏蔽IP一定要慎重了，很容易误伤的，这两天QQ浏览器总是出现“403”错误估计跟IP屏蔽也有关系吧！我得好好排查一下了！

(search engine)是指根据一定的策略、运用特定的程序搜集上信息，在对信息进行组织和处理后，是为提供检索的。一个搜擎由搜索器、索引器 、检索器和用户接口 四个部分组成。搜索器的是在互联网 中漫游，和搜集信息。索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档 以及生成文档库的索引表。检索器的功能是根据用户的在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。如果想要搜索引擎为我们服务那就必须要学习，用SEO的技术来优化，可以让你的上首页，从而获得更多的流量。那么该如何学习SEO呢，你可以来这个群，群号前面是235中间是142后面是871，组合起来就可以看到我们的群了，群里有SEO的大神解答,每天还有SEO的公开课，能帮助你更好的学习，不是真心想要学习的就不要加了。

互联网发展早期，以为代表的网站分类目录查询非常流行。网站分类目录由人工整理维护，精选互联网上的优秀网站，并简要描述，分类放置到不同目录下。用户查询时，通过一层层的点击来查找自己想找的网站。也有人把这种基于目录的检索服务网站称为搜索引擎，但从严格意义上讲，它并不是搜索引擎。
1990年，麦吉尔计算机的师生开发出Archie。

当时，网还没有出现，人们通过FTP来共享交流资源。Archie能定期搜集并分析FTP上的文件名信息，提供查找分别在各个FTP主机中的文件。用户必须输入精确的文件名进行搜索，Archie告诉用户哪个FTP服务器能该文件。虽然Archie搜集的信息资源不是（HTML文件），但和搜索引擎的基本方式是一样的：自动搜集信息资源、建立索引、提供检索服务。所以，Archie被公认为现代搜索引擎的鼻祖。

Emtage等想到了开发一个可以用文件名查找文件的系统，于是便Archie。搜索引擎是SEO中一小部分知识想更深入了解SEO，可以加群：前面叁叁仈，中间六贰柒后面七伍肆，Archie是xxx个自动索引互联网上匿名FTP网站文件的程序，但它还不是真正的搜索引擎。Archie是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告诉用户哪一个FTP地址可以下载该文件。

世界上xxx个Spider程序，是MIT Matthew Gray的World wide Web Wanderer，用于追踪互联网发展规模。刚开始它只用来统计互联网上的服务器数量，后来则发展为也能够捕获网址（URL）。
搜索引擎一般由以下三部分组成：
爬行器（机器人、蜘蛛）

Excite 的历以上溯到1993年2月，6个Stanford University（）大学生的想法是分析字词关系，以对互联网上的大量信息作更有效的检索。到1993年中，这已是一个完全，他们还发布了一个供webmasters在自己网站上使用的搜索版本，后来被叫做Excite for Web Servers。
注：Excite后来曾以概念搜索闻名，2002年5月，被Infospace收购的Excite停止自己的搜索引擎，改元搜索引擎 Dogpile

1994年4月，斯坦福大学的两名博士生，美籍华人杨致远和David Filo共同创办了Yahoo！。随着访问量和收录链接数的增长，Yahoo目录开始支持简单的库搜索。因为Yahoo!的数据是手工输入的，所以不能真正被归为搜索引擎，事实上只是一个可搜索的目录。Yahoo!中收录的网站，因为都附有简介信息，所以搜索效率明显提高。
Yahoo!－－几乎成为20世纪的的代名词。

1995年，一种新的搜索引擎形式出现了——元搜索引擎（Meta Search Engine）。用户只需提交一次搜索请求，由元搜索引擎负责转换处理后提交给多个预先选定的独立搜索引擎，并将从各独立搜索引擎返回的所有查询结果，集中起来处理后再返回给用户。
xxx个元搜索引擎，是Washington大学硕士生 Eric Selberg 和 Oren Etzioni 的 Metacrawler。元搜索引擎概念上好听，但搜索效果始终不理想，所以没有哪个元搜索引擎有过强势地位。

智能检索的产生：它利用分词词典、同义词典，同音词典改善检索效果，进一步还可在知识层面或者说概念层面上辅助查询，通过主题词典、上下位词典、相关同级词典检索处理形成一个知识或，给予用户智能知识提示，最终帮助用户获得最佳的检索效果。

个性化是搜索引擎的一个未来发展的重要和必然趋势之一。一种方式通过搜索引擎的化产品（即对注册用户提供服务）的方式来组织个人信息，然后在搜索引擎基础信息库的检索中引入个人因素进行分析，获得针对个人不同的搜索结果。自2004年10月yahoo推出myweb版，到11月a9推出个性化功能，到2005年Googlesearchhistory基本上都沿着一条路子走，分析特定用户的搜索需求限定的范围，然后按照用户需求范围扩展到互联网上其他的同类网站给出最相关的结果。另外一种是针对的，Google个性化搜索引擎，或者yahooMindSet，或者我们都知道的前台聚类的vivisimo。但是无论其中的哪一种实现方式，即Google的主动选择搜索范围，还是yahoo（.cn/u/），vivisimo的在结果中重新组织自己需要的信息，都是一种实验或者创想，短期内无法成为主流的搜索引擎应用产品。

网格技术（great global grid)：由于没有统一的信息组织标准对信息资源进行加工处理，难以对无序的网络信息资源进行检索、交接和共享乃至深层次的开发利用，形成信息孤岛。网格技术就是要消除信息孤岛实现互联网上所有资源的全面连通。

Robot（机器人）一词对者有的意义。Computer Robot是指某个能以人类无法达到的速度不断重复执行某项任务的自动程序。由于专门用于检索信息的Robot程序像蜘蛛(spider)一样在网络间爬来爬去，因此，搜索引擎的Robot程序被称为spider程序。

1993年Matthew Gray开发了 World Wide Web Wanderer，这是xxx个利用HTML网页之间的链接关系来万维网规模的“机器人（Robot）”程序。开始，它仅仅用来统计互联网上的服务器数量，后来也能够捕获网址（URL）。

Pinkerton开始了他的小项目WebCrawler。1994年4月20日，WebCrawler正式亮相时仅包含来自6000个服务器的内容。WebCrawler是互联网上xxx个支持搜索文件全部的引擎，在它之前，用户只能通过URL和摘要搜索，摘要一般来自人工评论或程序自动取正文的前100个字。

1994年7月，卡内基·梅隆大学（Carnegie Mellon University） 的Michael Mauldin将John Leavitt的spider程序接入到其索引程序中，创建了Lycos。除了相关性排序外，Lycos还提供了前缀匹配和字符相近限制，Lycosxxx个在搜索结果中使用了网页自动摘要，而xxx的优势还是它远胜过其它搜索引擎的数据量。

1994年底，Infoseek正式亮相。其友善的界面，大量的附加功能，使之和Lycos一样成为搜索引擎的重要代表。

1995年，一种新的搜索引擎形式出现了——元搜索引擎（A Meta Search Engine Roundup）。用户只需提交一次搜索请求，由元搜索引擎负责转换处理，提交给多个预先选定的独立搜索引擎，并将从各独立搜索引擎返回的所有查询结果，集中起来处理后再返回给用户。xxx个元搜索引擎，是Washington大学硕士生 Eric Selberg 和 Oren Etzioni 的

1995年12月，DEC的正式发布AltaVista。AltaVista是xxx个支持自然搜索的搜索引擎，xxx个实现搜索语法的搜索引擎（如、 OR、 NOT等)。用户可以用AltaVista搜索组（Newsgroups）的内容并从互联网上获得文章，还可以搜索图片名称中的文字、搜索Titles、搜索Java objects。AltaVista也声称是xxx个支持用户自己向网页索引库提交或删除URL的搜索引擎，并能在24小时内上线。AltaVista最有趣的新功能之一，是搜索有链接指向某个URL的所有网站。在面向用户的界面上，AltaVista也作了大量革新。它在搜索框区域下放了“tips”以帮助用户更好的表达搜索式，这些小tip经常更新，这样，在搜索过几次以后，用户会看到很多他们可能从来不知道的的有趣功能。这系列功能，逐渐被其它搜索引擎广泛采用。1997年，AltaVista发布了一个图形演示系统LiveTopics，帮助用户从成千上万的搜索结果中找到想要的。

1995年9月26日，加州伯克利分校助教Eric Brewer、博士生Paul Gauthier创立了Inktomi，1996年5月20日，Inktomi公司成立，强大的HotBot出现在世人面前。声称每天能抓取索引1千万页以上，所以有远超过其它搜索引擎的新内容。HotBot也大量运用cookie储存用户的个人搜索喜好设置。

1997年8月，Northernlight搜索引擎正式现身。它曾是拥有最库的搜索引擎之一，它没有Stop Words，它有出色的Current News、7100多物组成的Special Collection、良好的高级搜索语法，xxx个支持对搜索结果进行简单的自动分类。

Page开始学习搜索引擎，于1997年9月15日注册了搜索引擎Beta版（此前Baidu只为其它搜狐新浪Tom等提供搜索引擎），2001年10月22日正式发布Baidu搜索引擎，专注于中文搜索。Baidu搜索引擎的其它特色包括：百度快照、网页预览/预览全部网页、相关搜索词、错别字纠正提示、mp3搜索、Flash搜索。2002年3月闪电计划（Blitzen Project）开始后，技术升级明显加快。后推出贴吧、知道、地图、国学、、文档、视频、等一系列产品，深受网民欢迎。2005年8月5日在纳斯达克上市，发行价为USD 域名就已可打开，但当时只是跳转，此次SOSO网正式成立。

2007年7月1日 全面采用自主研发的有道搜索技术，并且合并了原来的综合搜索和网页搜索。有道网页搜索、图片搜索和博客搜索为网易搜索提供服务。其中网页搜索使用了其自主研发的自然语言处理、分布式存储及计算技术；图片搜索根据拍摄品牌、型号，甚至季节等高级搜索功能；博客搜索相比同类产品具有抓取全面、更新及时的优势，提供“文章预览”，“博客档案”等创新功能。^[1]

2012年8月，奇虎360推出综合搜索业务。

全文搜索引擎是名副其实的搜索引擎，国外代表有Google，国内则有著名的百度搜索。它们从互联网提取各个网站的信息（以网页文字为主），建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。

根据搜索结果来源的不同，全文搜索引擎可分为两类，一类拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，能自建网页数据库，搜索结果直接从自身的数据库中调用，上面提到的Google和百度就属于此类；另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos搜索引擎。

目录索引虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息，不依靠（Keywords）进行查询。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo、新浪分类目录搜索。

元搜索引擎（META Search Engine）接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合，如Vivisimo。

其他非主流搜索引擎形式：
1、集合式搜索引擎：该搜索引擎类似元搜索引擎，区别在于它并非同时调用多个搜索引擎进行搜索，而是由用户从提供的若干搜索引擎中选择，如HotBot在2002年底推出的搜索引擎。
2、门户搜索引擎：AOL Search、MSN Search等虽然提供搜索服务，但自身既没有分类目录也没有网页数据库，其搜索结果完全来自其他搜索引擎。
3、免费链接列表（Free For All Links简称FFA）：一般只简单地链接条目，少部分有简单的分类目录，不过规模要比Yahoo！等目录索引小很多。

搜索引擎是通过一种特定的软件跟踪网页的链接，从一个链接爬到另外一个链接，像蜘蛛在蜘蛛网上爬行一样，所以被称为“蜘蛛”也被称为“机器人”。搜索引擎蜘蛛的爬行是被输入了一定的规则的，它需要遵从一些命令或文件的内容。比如：蜘蛛如果跟踪链接想去爬行一个站点的时候，先要通过robots文件说明，如果robots文件不允许蜘蛛爬行的话，蜘蛛是不能跟踪链接的。当然，蜘蛛也需要理解HTTP返回码、nofollow标签、mate标签等等，所以蜘蛛的爬行是在一定规律和要求下进行的。除了搜索引擎蜘蛛要遵循的一些规则外，还有一些搜索引擎蜘蛛无法做到的事情。比如：要求注册的站点，FLASH里的链接，图片里的链接等等。所以，我们了解搜索引擎蜘蛛爬行的时候，不能一味的认为搜索引擎蜘蛛无所不能。

搜索引擎是通过蜘蛛跟踪链接爬行到网页，并将爬行的数据存入原始页面数据库。其中的页面数据与用户游览器得到的HTML是完全一样的。搜索引擎蜘蛛在抓取页面是，也做一定的重复内容检测，一旦遇到权重很低的网站上有大量抄袭、采集或者复制的内容，很可能就不在爬行。这也就是为什么有一些采集站的数据量很大，但是收录量很低的原因。不过，大部分的去重工作，还是在预处理阶段进行。

搜索引擎将蜘蛛抓取回来的页面，进行各种步骤的预处理。

现在搜索引擎的排名,还是主要以文字内容为基础。蜘蛛抓取到数据库里的原始页面文件，需要进行文字提取，去除页面中的标签、JS程序、图片等无法用于排名的内容。当然，搜索引擎也会提取游览器中发现显示的标签文字、图片注释文字、FLASH注释文字和锚文本文字等。

中文分词主要是针对中文搜索引擎的特有步骤，英文搜索引擎不存在这个步骤。由于中文字和词是连载一起的，搜索引擎要分辨哪些字组成的一个词，所以进行一种分词步骤。中文分词一般都是按照两种方法，一种是词典匹配；一种是基于统计分析。词典匹配比较容易理解，是根据以往词典中出现的词语匹配。而基于统计分析，主要是分析大量的文字样本，计算出字与字相邻出现的频率，来判断是不是一个词。在这里，我们就比较容易理解关键词里所说到的完全匹配，基本上是基于词典匹配，反之则是根据统计分析出来的词。

去停词主要是去除对内容无关紧要的一些助词（如中文的：的，地，哈。英文的立场，内容投诉举报请联系/4134/