用Python教你如何“养”一只DHT爬虫
ok, 路由表这个玩意儿比较有技术含量, 又难以描述, 所以会贴代码演示. 接下来的DHT客户端/服务端就不再贴那么多的代码了, 毕竟处理网络的代码太多太复杂, 技术含量不高, 按照DHT协议描述的那样操作就行了.
第二步, 实现DHT客户端
实现一个DHT客户端, 不用都要实现ping, find_node, get_peers, announce_peer操作了, 做一个爬虫, 仅仅只需要实现find_node功能就能达到目的了. 因为我们只想不停地交朋友而已.
要想加入DHT网络, 首先得认识第一个已知的node, 这个node最好是长期在线的, 又稳定的. 我这里就认识一个, dht.transmissionbt.com:6881, 由于UDP的原因, 只能接受ip, 所以请提前解析出ip地址.
然后使用DHT协议说的那个find_node操作, 现在解释一下某些key的潜在意义吧
t: transaction ID的简称, 传输ID. 起什么作用呢? 由于UDP无3次握手这个机制, 所以任何人都可随便发送信息给你, 根本就不需与你提前进行连接. 想想这么个情况, 你发送了一请求数据给某node, 然后收到DHT说的回复类型的数据, 即y=r, 但是, 你怎么知道回应的是你之前的哪个请求呢? 所以就要靠t了, 当你发送时, t=aa的话, 对方回应这个请求时, 回应消息的t绝对是aa, 这样你就能区分了. 在发送之前, 要为该t值注册一个处理函数, 当收到回应时, 调用该函数进行处理. 记得设置一个定时器, 时间一到, 立马删除该函数, 不然你内存飙升. 如果超时后才收到信息的话, 很遗憾, 没了处理函数, 直接忽略. 我建议定时器设定到5秒. 当然, 随便你. 一定要保证成功收到第一个node的find_node回复, 不然失败, 就没法继续find_node了.即: 认识不到第一个朋友, 就别想认识第二个朋友.
id: 就是自身node ID了, 是node_id()函数生成的哈, 样子绝不是DHT协议例子中的样子, 这主要是为了方便演示而已
target: 这个也是自身的node ID, 作用是问某node离我最近的都有哪些node.
收到对方回复后, 把那key为nodes给解析出来, 按DHT协议说的, 每个node是以4字节ip+2字节port+20字节node ID组成, 那么nodes的字节数就会是26的倍数. &解码&node和&编码&node的Python代码如下:
from&struct&import&unpack&&&def&num_to_dotted(n):&&&&&&d&=&256&*&256&*&256&&&&&q&=&[]&&&&&&while&d&&&0:&&&&&&&&&&m,&n&=&divmod(n,&d)&&&&&&&&&&q.append(str(m))&&&&&&&&&&d&/=&256&&&&&return&'.'.join(q)&&&def&decode_nodes(nodes):&&&&&&n&=&[]&&&&&&nrnodes&=&len(nodes)&/&26&&&&&nodes&=&unpack(&!&&+&&20sIH&&*&nrnodes,&nodes)&&&&&&for&i&in&range(nrnodes):&&&&&&&&&&nid,&ip,&port&=&nodes[i&*&3],&num_to_dotted(nodes[i&*&3&+&1]),&nodes[i&*&3&+&2]&&&&&&&&&&n.append((nid,&ip,&port))&&&&&&return&n&&&decode_nodes函数的反作用函数如下:&&def&dotted_to_num(ip):&&&&&&hexn&=&''.join([&%02X&&%&long(i)&for&i&in&ip.split('.')])&&&&&&return&long(hexn,&16)&&&def&encode_nodes(nodes):&&&&&&n&=&[]&&&&&&for&node&in&nodes:&&&&&&&&&&n.extend([node.nid,&dotted_to_num(node.ip),&node.port])&&&&&&return&pack(&!&&+&&20sIH&&*&len(nodes),&*n)
解析出来后, 插入到路由表里, 然后使用find_node继续向刚解析出来的node进行请求, target还是自身node ID, 以此循环. 这样就能认识很多很多的node啦. 细节就不说了, 自己看着办.
第三步, 实现DHT服务器端, 协议文档说得很清楚了, 我只列出几个需要注意的问题:
1, 服务器端得实现处理node发来的ping, find_node, get_peers, announce_peer请求.
2, 回应信息里的t的值是对方的t值, 不是自己随便写的.
3, 最好要实现那个token机制, 这样就减少被捣乱的几率, 此token就按协议那种方式就行, 每5分钟变换一次, 10分钟内的有效.
4, 一定要记得前面说的那句&当该bucket负责的node有请求, 回应操作; 删除 添加 更新 等这些操作时, 那么就刷新该bucket&.
5, 由于是做DHT爬虫, 所以处理get_peers请求和find_node请求差不多一样, 都是返回最近的node. 当然, 你闲得蛋疼的话, 可以来得标准点, 做能返回peers那种, 不过, 没必要.
6, announce_peer请求里的port就是对方提供下载种子的端口, 监听于TCP, 不是DHT连接的端口. 还有请求消息里的id就仅仅指的是对方的node ID, 我看博客园某人写的文章说是对方的peer ID, 我表示很不解.
第四步, 定时刷新路由表
按协议所说, 过一段&&&[2]&&&
【声明】:黑吧安全网()登载此文出于传递更多信息之目的，并不代表本站赞同其观点和对其真实性负责，仅适于网络安全技术爱好者学习研究使用，学习中请遵循国家相关法律法规。如有问题请联系我们，联系邮箱，我们会在最短的时间内进行处理。
上一篇：【】【】赶快加入吧
收藏，1.4k 浏览
问题对人有帮助，内容完整，我也想知道答案
问题没有实际价值，缺少关键内容，没有改进余地
python菜鸟 想做一个简单的爬虫 求教程 ps:一般公司做爬虫采集的话常用什么语言
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
爬内容，通常来说就是HTTP请求，requests +1
爬下来的网页就是做一些字符串处理，获取你要的信息。beautifulsoup、正则表达式、str.find()都可以
一般网页以上两点就可以了，对于ajax请求的网站，你可能爬不到想要内容，去找他的Api可能更方便。
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
以前学习的时候整理的一份教程：
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
直接给题主贴一个可以使用的抓取脚本吧，目的是获取豆瓣正在上映影片的豆瓣id和影片标题，脚本依赖于beautifulsoup库，需要安装，
补充：如果题主是希望构建一个能对站点进行抓取或者可以自定义抓取指定页面这类真正的爬虫程序的话，还是推荐题主研究 scrapy
抓取python示例代码：
#!/usr/bin/env python
#coding:UTF-8
import urllib
import urllib2
import traceback
from bs4 import BeautifulSoup
from lxml import etree as ET
def fetchNowPlayingDouBanInfo():
doubaninfolist = []
#使用proxy时,请取消屏蔽
proxy_handler = urllib2.ProxyHandler({"http" : '172.23.155.73:8080'})
opener = urllib2.build_opener(proxy_handler)
urllib2.install_opener(opener)
url = "/nowplaying/beijing/"
#设置http-useragent
useragent = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.57 Safari/537.36'}
req = urllib2.Request(url, headers=useragent)
page = urllib2.urlopen(req, timeout=10)
html_doc = page.read()
soup = BeautifulSoup(html_doc, "lxml")
nowplaying_ul = soup.find("div", id="nowplaying").find("ul", class_="lists")
lilist = nowplaying_ul.find_all("li", class_="list-item")
for li in lilist:
doubanid = li["id"]
title = li["data-title"]
doubaninfolist.append({"douban_id" : doubanid, "title" : title, "coverinfolist" : [] })
except TypeError, e:
print('(%s)TypeError: %s.!' % (url, traceback.format_exc()))
except Exception:
print('(%s)generic exception: %s.' % (url, traceback.format_exc()))
except urllib2.HTTPError, e:
print('(%s)http request error code - %s.' % (url, e.code))
except urllib2.URLError, e:
print('(%s)http request error reason - %s.' % (url, e.reason))
except Exception:
print('(%s)http request generic exception: %s.' % (url, traceback.format_exc()))
return doubaninfolist
if __name__ =="__main__":
doubaninfolist = fetchNowPlayingDouBanInfo()
print doubaninfolist
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
简单的，不用框架的，可以看看requests和beautifulsoup这两个库，如果熟悉python语法，看完这两个，差不多能写个简单的爬虫了。
一般公司搞爬虫，我见过的，多用java或者python。
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
百度搜索python + 爬虫
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
简单的爬虫，其实用框架最简单了，看看网上的入门贴
推荐scrapy
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
网终上确实有许多的关于Python如何写一个简单爬虫的文章，但这些文章大多只能算是一个例子，能真正应用的还是挺少的。爬虫我认为就是获取内容、分析内容、再存储就OK了，如果只是才接触的话，可以直接Google之就行了。如果是深入的研究的话，可以在Github上找找代码来看下。
我自己对于Python也只是一知半解，希望有所帮助。
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
可以看看我的资料
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
scrapy 节约你大量时间
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
贴一段爬天猫的代码：
def areaFlow(self, parturl, tablename, date):
while True:
url = parturl + self.lzSession + '&days=' + str(date) + '..' + str(date)
html = urllib2.urlopen(url, timeout=30)
except Exception, ex:
writelog(str(ex))
writelog(str(traceback.format_exc()))
responegbk = html.read()
respone = responegbk.encode('utf8')
except Exception, ex:
writelog(str(ex))
# 如果lzSession过期则会返回errcode：500的错误
if respone.find('"errcode":500') != -1:
print 'nodata'
# 如果时间不对则返回errcode：100的错误
elif respone.find('"errcode":100') != -1:
print 'login error'
self.catchLzsession()
resstr = re.findall(r'(?&=\&)(.*?)(?=\/&)', respone, re.S)
writelog('地域名称
dictitems = []
for iarea in resstr:
items = {}
areaname = re.findall(r'(?&=name=\\\")(.*?)(?=\\\")', iarea, re.S)
flowamount = re.findall(r'(?&=浏览量：)(.*?)(?=&lt)', iarea, re.S)
visitoramount = re.findall(r'(?&=访客数：)(.*?)(?=\\\")', iarea, re.S)
print '%s %s %s' % (areaname[0], flowamount[0], visitoramount[0])
items['l_date'] = str(self.nowDate)
items['vc_area_name'] = str(areaname[0])
items['i_flow_amount'] = str(flowamount[0].replace(',', ''))
items['i_visitor_amount'] = str(visitoramount[0].replace(',', ''))
items['l_catch_datetime'] = str(self.nowTime)
dictitems.append(items)
writeInfoLog(dictitems)
insertSqlite(self.sqlite, tablename, dictitems)
except Exception,ex:
writelog(str(ex))
writelog(str(traceback.format_exc()))
time.sleep(1)
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
爬豆瓣相册和豆瓣电影的, 用scrapy + mongodb. 虽然我现在觉得这代码写得有点烂, 不过还是值得瞅一下, 里面那个豆瓣相册爬虫写法跟官方和常见的有点不一样.
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
Scrapy是比较好的选择，相对比较简单，这里有
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
可以先用一个爬虫框架实现业务逻辑，如scrapy，然后根据自己的需求，慢慢的替换掉框架。最后，你就会发现， 你自己实现了一个爬虫框架
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
Python的Scrapy写爬虫非常棒，附上我写的一个非常简单的福利爬虫
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
抓取内容可以使用 urllib/urllib2/requests，推荐requests。
分析内容可以使用 BeautifulSoup，也可以使用正则或者暴力的字符串解析。
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
3天前 回答
最近在学习Python爬虫，感觉非常有意思，真的让生活可以方便很多。学习过程中我把一些学习的笔记总结下来，还记录了一些自己实际写的一些小爬虫，在这里跟大家一同分享，希望对Python爬虫感兴趣的童鞋有帮助，如果有机会期待与大家的交流。
一、Python入门
Python爬虫入门一之综述
Python爬虫入门二之爬虫基础了解
Python爬虫入门三之Urllib库的基本使用
Python爬虫入门四之Urllib库的高级用法
Python爬虫入门五之URLError异常处理
Python爬虫入门六之Cookie的使用
Python爬虫入门七之正则表达式
二、Python实战
Python爬虫实战一之爬取糗事百科段子
Python爬虫实战二之爬取百度贴吧帖子
Python爬虫实战三之计算大学本学期绩点
Python爬虫实战四之抓取淘宝MM照片
Python爬虫实战五之模拟登录淘宝并获取所有订单
三、Python进阶
Python爬虫进阶一之爬虫框架Scrapy安装配置
目前暂时是这些文章，随着学习的进行，会不断更新哒，敬请期待~
希望对大家有所帮助，谢谢！
转载请注明：静觅 >> Python爬虫学习系列教程
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
2天前 回答
If you just want a spider that works
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
10小时前 回答
Powerful WebUI with script editor, task monitor, project manager and result viewer
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
2小时前 回答
，这个是我刚学爬虫的时候做的，入门看看还凑活
同步到新浪微博
不要错过该问题的后续解决方案
如果你没找到答案，记得登录关注哦，大家会尽全力帮你解决的 ^___^
最专业的开发者社区
最前沿的技术问答，最纯粹的技术切磋。让你不知不觉中开拓眼界，提高技能，认识更多朋友。
分享到微博？
关闭理由：
删除理由：
忽略理由：
与已有问题重复
答非所问，不符合答题要求
宜作评论而非答案
带有人身攻击、辱骂、仇恨等违反条款的内容
内容质量差，或不适合在本网站出现
无意义讨论型问题
其他原因（请补充说明）
举报理由：
带有人身攻击、辱骂、仇恨等违反条款的内容
与已有问题重复
内容质量差，或不适合在本网站出现
答非所问，不符合答题要求
其他原因（请补充说明）
补充说明：1)">1)">1" ng-class="{current:{{currentPage==page}}}" ng-repeat="page in pages"><li class='page' ng-if="(endIndex<li class='page next' ng-if="(currentPage
相关文章阅读后使用快捷导航没有帐号？
python的爬虫实现（进阶版）
查看: 11807|
评论: |来自: CSDN博客
摘要: （建议大家多看看官网教程：教程地址）我们使用dmoz.org这个网站来作为小抓抓一展身手的对象。首先先要回答一个问题。问：把网站装进爬虫里，总共分几步？答案很简单，四步：新建项目 (Project)：新建一个新的爬虫项 ...
（建议大家多看看官网教程：）我们使用这个网站来作为小抓抓一展身手的对象。首先先要回答一个问题。问：把网站装进爬虫里，总共分几步？答案很简单，四步：新建项目 (Project)：新建一个新的爬虫项目明确目标（Items）：明确你想要抓取的目标制作爬虫（Spider）：制作爬虫开始爬取网页存储内容（Pipeline）：设计管道存储爬取内容好的，基本流程既然确定了，那接下来就一步一步的完成就可以了。1.新建项目（Project）在空目录下按住Shift键右击，选择“在此处打开命令窗口”，输入一下命令：[plain] scrapy&startproject&tutorial&&scrapy startproject tutorial其中，tutorial为项目名称。 可以看到将会创建一个tutorial文件夹，目录结构如下：[plain] tutorial/&&&&&&scrapy.cfg&&&&&&tutorial/&&&&&&&&&&__init__.py&&&&&&&&&&items.py&&&&&&&&&&pipelines.py&&&&&&&&&&settings.py&&&&&&&&&&spiders/&&&&&&&&&&&&&&__init__.py&&&&&&&&&&&&&&...&&tutorial/
scrapy.cfg
__init__.py
pipelines.py
settings.py
__init__.py
...下面来简单介绍一下各个文件的作用：scrapy.cfg：项目的配置文件tutorial/：项目的Python模块，将会从这里引用代码tutorial/items.py：项目的items文件tutorial/pipelines.py：项目的pipelines文件tutorial/settings.py：项目的设置文件tutorial/spiders/：存储爬虫的目录2.明确目标（Item）在Scrapy中，items是用来加载抓取内容的容器，有点像Python中的Dic，也就是字典，但是提供了一些额外的保护减少错误。一般来说，item可以用scrapy.item.Item类来创建，并且用scrapy.item.Field对象来定义属性（可以理解成类似于ORM的映射关系）。接下来，我们开始来构建item模型（model）。首先，我们想要的内容有：名称（name）链接（url）描述（description）修改tutorial目录下的items.py文件，在原本的class后面添加我们自己的class。因为要抓dmoz.org网站的内容，所以我们可以将其命名为DmozItem：[python] &&&&&&&&&&from&scrapy.item&import&Item,&Field&&&&class&TutorialItem(Item):&&&&&&&&&&&&&&&&&&pass&&&&class&DmozItem(Item):&&&&&&title&=&Field()&&&&&&link&=&Field()&&&&&&desc&=&Field()&&# Define here the models for your scraped items
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html
from scrapy.item import Item, Field
class TutorialItem(Item):
# define the fields for your item here like:
# name = Field()
class DmozItem(Item):
title = Field()
link = Field()
desc = Field()
刚开始看起来可能会有些看不懂，但是定义这些item能让你用其他组件的时候知道你的 items到底是什么。可以把Item简单的理解成封装好的类对象。3.制作爬虫（Spider）制作爬虫，总体分两步：先爬再取。也就是说，首先你要获取整个网页的所有内容，然后再取出其中对你有用的部分。3.1爬Spider是用户自己编写的类，用来从一个域（或域组）中抓取信息。他们定义了用于下载的URL列表、跟踪链接的方案、解析网页内容的方式，以此来提取items。要建立一个Spider，你必须用scrapy.spider.BaseSpider创建一个子类，并确定三个强制的属性：name：爬虫的识别名称，必须是唯一的，在不同的爬虫中你必须定义不同的名字。start_urls：爬取的URL列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。parse()：解析的方法，调用的时候传入从每一个URL传回的Response对象作为唯一参数，负责解析并匹配抓取的数据(解析为item)，跟踪更多的URL。&这里可以参考宽度爬虫教程中提及的思想来帮助理解，教程传送：。也就是把Url存储下来并依此为起点逐步扩散开去，抓取所有符合条件的网页Url存储起来继续爬取。下面我们来写第一只爬虫，命名为dmoz_spider.py，保存在tutorialspiders目录下。dmoz_spider.py代码如下：[python] from&scrapy.spider&import&Spider&&&&class&DmozSpider(Spider):&&&&&&name&=&"dmoz"&&&&&&allowed_domains&=&["dmoz.org"]&&&&&&start_urls&=&[&&&&&&&&&&"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",&&&&&&&&&&"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"&&&&&&]&&&&&&&&def&parse(self,&response):&&&&&&&&&&filename&=&response.url.split("/")[-2]&&&&&&&&&&open(filename,&'wb').write(response.body)&&from scrapy.spider import Spider
class DmozSpider(Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
def parse(self, response):
filename = response.url.split("/")[-2]
open(filename, 'wb').write(response.body)
allow_domains是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页。 从parse函数可以看出，将链接的最后两个地址取出作为文件名进行存储。然后运行一下看看，在tutorial目录下按住shift右击，在此处打开命令窗口，输入：[plain] scrapy&crawl&dmoz&&scrapy crawl dmoz运行结果如图： 报错了：UnicodeDecodeError: 'ascii' codec can't decode byte 0xb0 in position 1: ordinal&not in range(128)运行第一个Scrapy项目就报错，真是命运多舛。应该是出了编码问题，谷歌了一下找到了解决方案：在python的Libsite-packages文件夹下新建一个sitecustomize.py：[python] import&sys&&&&sys.setdefaultencoding('gb2312')&&&&import sys
sys.setdefaultencoding('gb2312')
再次运行，OK，问题解决了，看一下结果：最后一句INFO: Closing spider (finished)表明爬虫已经成功运行并且自行关闭了。包含 [dmoz]的行 ，那对应着我们的爬虫运行的结果。可以看到start_urls中定义的每个URL都有日志行。还记得我们的start_urls吗？http://www.dmoz.org/Computers/Programming/Languages/Python/Books http://www.dmoz.org/Computers/Programming/Languages/Python/Resources因为这些URL是起始页面，所以他们没有引用(referrers)，所以在它们的每行末尾你会看到 (referer: )。在parse 方法的作用下，两个文件被创建：分别是 Books 和 Resources，这两个文件中有URL的页面内容。那么在刚刚的电闪雷鸣之中到底发生了什么呢？首先，Scrapy为爬虫的 start_urls属性中的每个URL创建了一个 scrapy.http.Request 对象 ，并将爬虫的parse 方法指定为回调函数。然后，这些 Request被调度并执行，之后通过parse()方法返回scrapy.http.Response对象，并反馈给爬虫。3.2取爬取整个网页完毕，接下来的就是的取过程了。光存储一整个网页还是不够用的。在基础的爬虫里，这一步可以用正则表达式来抓。在Scrapy里，使用一种叫做 XPath selectors的机制，它基于 XPath表达式。如果你想了解更多selectors和其他机制你可以查阅资料：这是一些XPath表达式的例子和他们的含义/html/head/title: 选择HTML文档元素下面的 标签。&/span&&/li&&li&&span style="font-family: Microsoft YaH font-size: 18"&/html/head/title/text(): 选择前面提到的&title& 元素下面的文本内容&/span&&/li&&li&&span style="font-family: Microsoft YaH font-size: 18"&//td: 选择所有 &td& 元素&/span&&/li&&li&&span style="font-family: Microsoft YaH font-size: 18"&//div[@class="mine"]: 选择所有包含 class="mine" 属性的div 标签元素&/span&&/li&&/ul&&p&&span style="font-family: Microsoft YaH font-size: 18"&以上只是几个使用XPath的简单例子，但是实际上XPath非常强大。&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&可以参照W3C教程：&a href=".cn/xpath/" target="_blank"&点我点我&/a&。&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&&br&&/span&&/p&&span style="font-family: Microsoft YaH font-size: 18"&为了方便使用XPaths，Scrapy提供XPathSelector 类，有两种可以选择，HtmlXPathSelector(HTML数据解析)和XmlXPathSelector(XML数据解析)。&br&&/span& &p&&span style="font-family: Microsoft YaH font-size: 18"&必须通过一个 Response 对象对他们进行实例化操作。&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&你会发现Selector对象展示了文档的节点结构。因此，第一个实例化的selector必与根节点或者是整个目录有关 。&br&&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&在Scrapy里面，Selectors 有四种基础的方法&/span&&span style="font-family: Microsoft YaH font-size: 18"&&span style="font-size: 18"&&span class="reference internal"&&span class="xref py py-meth docutils literal"&&span class="pre"&（点击查看API文档）：&/span&&/span&&/span&&a title="scrapy.selector.Selector.xpath" class="reference internal" href="http://doc.scrapy.org/en/latest/topics/selectors.html#scrapy.selector.Selector.xpath" target="_blank"&&span class="xref py py-meth docutils literal"&&span class="pre"&&br&&/span&&/span&&/a&&/span&&/span&&/p&&ul&&li&&span style="font-family: Microsoft YaH font-size: 18"&&a title="scrapy.selector.Selector.xpath" class="reference internal" href="http://doc.scrapy.org/en/latest/topics/selectors.html#scrapy.selector.Selector.xpath" target="_blank"&&span class="xref py py-meth docutils literal"&&span class="pre"&xpath()&/span&&/span&&/a&：返回一系列的selectors，每一个select表示一个xpath参数表达式选择的节点&a title="scrapy.selector.Selector.css" class="reference internal" href="http://doc.scrapy.org/en/latest/topics/selectors.html#scrapy.selector.Selector.css" target="_blank"&&span class="xref py py-meth docutils literal"&&span class="pre"&&br&&/span&&/span&&/a&&/span&&/li&&li&&span style="font-family: Microsoft YaH font-size: 18"&&a title="scrapy.selector.Selector.css" class="reference internal" href="http://doc.scrapy.org/en/latest/topics/selectors.html#scrapy.selector.Selector.css" target="_blank"&&span class="xref py py-meth docutils literal"&&span class="pre"&css()&/span&&/span&&/a&：返回一系列的selectors，每一个select表示一个css参数表达式选择的节点&a title="scrapy.selector.Selector.extract" class="reference internal" href="http://doc.scrapy.org/en/latest/topics/selectors.html#scrapy.selector.Selector.extract" target="_blank"&&span class="xref py py-meth docutils literal"&&span class="pre"&&br&&/span&&/span&&/a&&/span&&/li&&li&&span style="font-family: Microsoft YaH font-size: 18"&&a title="scrapy.selector.Selector.extract" class="reference internal" href="http://doc.scrapy.org/en/latest/topics/selectors.html#scrapy.selector.Selector.extract" target="_blank"&&span class="xref py py-meth docutils literal"&&span class="pre"&extract()&/span&&/span&&/a&：返回一个unicode字符串，为选中的数据&a title="scrapy.selector.Selector.re" class="reference internal" href="http://doc.scrapy.org/en/latest/topics/selectors.html#scrapy.selector.Selector.re" target="_blank"&&span class="xref py py-meth docutils literal"&&span class="pre"&&br&&/span&&/span&&/a&&/span&&/li&&li&&span style="font-family: Microsoft YaH font-size: 18"&&a title="scrapy.selector.Selector.re" class="reference internal" href="http://doc.scrapy.org/en/latest/topics/selectors.html#scrapy.selector.Selector.re" target="_blank"&&span class="xref py py-meth docutils literal"&&span class="pre"&re()&/span&&/span&&/a&：返回一串一个unicode字符串，为使用正则表达式抓取出来的内容&/span&&/li&&/ul&&p&&br&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&&strong&3.3xpath实验&/strong&&br&&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&下面我们在Shell里面尝试一下Selector的用法。&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&实验的网址：&a href="http://www.dmoz.org/Computers/Programming/Languages/Python/Books/" target="_blank"&http://www.dmoz.org/Computers/Programming/Languages/Python/Books/&/a&&br&&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&&img alt="" src="http://img.blog.csdn.net/51500?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcGxlYXNlY2FsbG1ld2h5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast"&&br&&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&&br&&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&熟悉完了实验的小白鼠，接下来就是用Shell爬取网页了。&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&进入到项目的顶层目录，也就是第一层tutorial文件夹下，在cmd中输入：&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&&/span&&/p&&div class="dp-highlighter bg_plain"&&div class="bar"&&div class="tools"&&b&[plain]&/b& &a title="view plain" class="ViewSource" href="http://blog.csdn.net/pleasecallmewhy/article/details/#"&view plain&/a&&a title="copy" class="CopyToClipboard" href="http://blog.csdn.net/pleasecallmewhy/article/details/#"&copy&/a&&a title="print" class="PrintSource" href="http://blog.csdn.net/pleasecallmewhy/article/details/#"&print&/a&&a title="?" class="About" href="http://blog.csdn.net/pleasecallmewhy/article/details/#"&?&/a&&a title="在CODE上查看代码片" style="text-indent: 0" href="https://code.csdn.net/snippets/201087" target="_blank"&&img width="12" height="12" style="left: 2 top: 1 position:" alt="在CODE上查看代码片" src="https://code.csdn.net/assets/CODE_ico.png"&&/a&&a title="派生到我的代码片" style="text-indent: 0" href="https://code.csdn.net/snippets/201087/fork" target="_blank"&&img width="12" height="12" style="left: 2 top: 2 position:" alt="派生到我的代码片" src="https://code.csdn.net/assets/ico_fork.svg"&&/a&&/div&&/div&&ol&&li class="alt"&&span&&span&scrapy&shell&http://www.dmoz.org/Computers/Programming/Languages/Python/Books/&&&/span&&/span&&/li&&/ol&&/div&&pre class="plain" style="display:" name="code" code_snippet_id="201087" snippet_file_name="blog__7684545"&scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python/Books/&/pre&&br&&span style="font-family: Microsoft YaH font-size: 18"&回车后可以看到如下的内容：&/span& &p&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&&img alt="" src="http://img.blog.csdn.net/46718?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcGxlYXNlY2FsbG1ld2h5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast"&&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&&/span&&/p&&p&&br&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&在Shell载入后，你将获得response回应，存储在本地变量 response中。&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&所以如果你输入response.body，你将会看到response的body部分，也就是抓取到的页面内容：&/span&&/p&&p&&img alt="" src="http://img.blog.csdn.net/22687?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcGxlYXNlY2FsbG1ld2h5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast"&&br&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&或者输入response.headers 来查看它的 header部分：&/span&&/p&&p&&img alt="" src="http://img.blog.csdn.net/22125?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcGxlYXNlY2FsbG1ld2h5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast"&&br&&/p&&p&&br&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&现在就像是一大堆沙子握在手里，里面藏着我们想要的金子，所以下一步，就是用筛子摇两下，把杂质出去，选出关键的内容。&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&selector就是这样一个筛子。&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&在旧的版本中，Shell实例化两种selectors，一个是解析HTML的 hxs 变量，一个是解析XML 的 xxs 变量。&/span&&span style="font-family: Microsoft YaH font-size: 18"&&br&&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&而现在的Shell为我们准备好的selector对象，sel，可以根据返回的数据类型自动选择最佳的解析方案(XML or HTML)。&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&然后我们来捣弄一下！~&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&要彻底搞清楚这个问题，首先先要知道，抓到的页面到底是个什么样子。&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&比如，我们要抓取网页的标题，也就是&title&这个标签：&/span&&/p&&p&&img alt="" src="http://img.blog.csdn.net/47812?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcGxlYXNlY2FsbG1ld2h5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast"&&br&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&可以输入：&/span&&/p&&p&&/p&&div class="dp-highlighter bg_python"&&div class="bar"&&div class="tools"&&b&[python]&/b& &a title="view plain" class="ViewSource" href="http://blog.csdn.net/pleasecallmewhy/article/details/#"&view plain&/a&&a title="copy" class="CopyToClipboard" href="http://blog.csdn.net/pleasecallmewhy/article/details/#"&copy&/a&&a title="print" class="PrintSource" href="http://blog.csdn.net/pleasecallmewhy/article/details/#"&print&/a&&a title="?" class="About" href="http://blog.csdn.net/pleasecallmewhy/article/details/#"&?&/a&&a title="在CODE上查看代码片" style="text-indent: 0" href="https://code.csdn.net/snippets/201087" target="_blank"&&img width="12" height="12" style="left: 2 top: 1 position:" alt="在CODE上查看代码片" src="https://code.csdn.net/assets/CODE_ico.png"&&/a&&a title="派生到我的代码片" style="text-indent: 0" href="https://code.csdn.net/snippets/201087/fork" target="_blank"&&img width="12" height="12" style="left: 2 top: 2 position:" alt="派生到我的代码片" src="https://code.csdn.net/assets/ico_fork.svg"&&/a&&/div&&/div&&ol class="dp-py"&&li class="alt"&&span&&span&sel.xpath(&/span&&span class="string"&'//title'&/span&&span&)&&&/span&&/span&&/li&&/ol&&/div&&pre class="python" style="display:" name="code" code_snippet_id="201087" snippet_file_name="blog__6397789"&sel.xpath('//title')&/pre&&br&&span style="font-family: Microsoft YaH font-size: 18"&结果就是：&/span& &p&&/p&&p&&img alt="" src="http://img.blog.csdn.net/54390?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcGxlYXNlY2FsbG1ld2h5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast"&&br&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&这样就能把这个标签取出来了，用extract()和text()还可以进一步做处理。&/span&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&备注：简单的罗列一下有用的xpath路径表达式：&/span&&/p&&p&&table class="dataintable
"&&tbody&&tr&&th style="width: 25%;"&&span style="font-family: Microsoft YaH font-size: 18"&表达式&/span&&/th&&th&&span style="font-family: Microsoft YaH font-size: 18"&描述&/span&&/th&&/tr&&tr&&td&&span style="font-family: Microsoft YaH font-size: 18"&nodename&/span&&/td&&td&&span style="font-family: Microsoft YaH font-size: 18"&选取此节点的所有子节点。&/span&&/td&&/tr&&tr&&td&&span style="font-family: Microsoft YaH font-size: 18"&/&/span&&/td&&td&&span style="font-family: Microsoft YaH font-size: 18"&从根节点选取。&/span&&/td&&/tr&&tr&&td&&span style="font-family: Microsoft YaH font-size: 18"&//&/span&&/td&&td&&span style="font-family: Microsoft YaH font-size: 18"&从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。&/span&&/td&&/tr&&tr&&td&&span style="font-family: Microsoft YaH font-size: 18"&.&/span&&/td&&td&&span style="font-family: Microsoft YaH font-size: 18"&选取当前节点。&/span&&/td&&/tr&&tr&&td&&span style="font-family: Microsoft YaH font-size: 18"&..&/span&&/td&&td&&span style="font-family: Microsoft YaH font-size: 18"&选取当前节点的父节点。&/span&&/td&&/tr&&tr&&td&&span style="font-family: Microsoft YaH font-size: 18"&@&/span&&/td&&td&&span style="font-family: Microsoft YaH font-size: 18"&选取属性。&/span&&/td&&/tr&&/tbody&&/table&&span style="font-family: Microsoft YaH font-size: 18"&&br&&/span&&p&&/p&&p&&span style="font-family: Microsoft YaH font-size: 18"&全部的实验结果如下，In[i]表示第i次实验的输入，Out[i]表示第i次结果的输出（建议大家参照：&a href=".cn/xpath/xpath_nodes.asp" target="_blank"&W3C教程&/a&）：&/span&&/p&&p&&/p&&div class="dp-highlighter bg_python"&&div class="bar"&&div class="tools"&&b&[python]&/b& &a title="view plain" class="ViewSource" href="http://blog.csdn.net/pleasecallmewhy/article/details/#"&view plain&/a&&a title="copy" class="CopyToClipboard" href="http://blog.csdn.net/pleasecallmewhy/article/details/#"&copy&/a&&a title="print" class="PrintSource" href="http://blog.csdn.net/pleasecallmewhy/article/details/#"&print&/a&&a title="?" class="About" href="http://blog.csdn.net/pleasecallmewhy/article/details/#"&?&/a&&a title="在CODE上查看代码片" style="text-indent: 0" href="https://code.csdn.net/snippets/201087" target="_blank"&&img width="12" height="12" style="left: 2 top: 1 position:" alt="在CODE上查看代码片" src="https://code.csdn.net/assets/CODE_ico.png"&&/a&&a title="派生到我的代码片" style="text-indent: 0" href="https://code.csdn.net/snippets/201087/fork" target="_blank"&&img width="12" height="12" style="left: 2 top: 2 position:" alt="派生到我的代码片" src="https://code.csdn.net/assets/ico_fork.svg"&&/a&&/div&&/div&&ol class="dp-py"&&li class="alt"&&span&&span&In&[&/span&&span class="number"&1&/span&&span&]:&sel.xpath(&/span&&span class="string"&'//title'&/span&&span&)&&&/span&&/span&&/li&&li&&span&Out[&span class="number"&1&/span&&span&]:&[&Selector&xpath=&/span&&span class="string"&'//title'&/span&&span&&data=u&/span&&span class="string"&'&title&Open&Directory&-&Computers:&Progr'&/span&&span&&]&&&/span&&/span&&/li&&li class="alt"&&span&&&&/span&&/li&&li&&span&In&[&span class="number"&2&/span&&span&]:&sel.xpath(&/span&&span class="string"&'//title'&/span&&span&).extract()&&&/span&&/span&&/li&&li class="alt"&&span&Out[&span class="number"&2&/span&&span&]:&[u&/span&&span class="string"&'&title&Open&Directory&-&Computers:&Programming:&Languages:&Python:&Books']&&&&In&[3]:&sel.xpath('//title/text()')&&Out[3]:&[<selector&xpath='//title/text()'&data=u'Open&Directory&-&Computers:&Programming:'&]&&</selector&xpath=&&In&[4]:&sel.xpath('//title/text()').extract()&&Out[4]:&[u'Open&Directory&-&Computers:&Programming:&Languages:&Python:&Books']&&&&In&[5]:&sel.xpath('//title/text()').re('(w+):')&&Out[5]:&[u'Computers',&u'Programming',&u'Languages',&u'Python']&&In [1]: sel.xpath('//title')
Out[1]: [<selector data="u'Open Directory - Computers: Progr'&]
In [2]: sel.xpath('//title').extract()
Out[2]: [u'Open Directory - Computers: Programming: Languages: Python: Books']
In [3]: sel.xpath('//title/text()')
Out[3]: []
In [4]: sel.xpath('//title/text()').extract()
Out[4]: [u'Open Directory - Computers: Programming: Languages: Python: Books']
In [5]: sel.xpath('//title/text()').re('(w+):')
Out[5]: [u'Computers', u'Programming', u'Languages', u'Python']当然title这个标签对我们来说没有太多的价值，下面我们就来真正抓取一些有意义的东西。使用火狐的审查元素我们可以清楚地看到，我们需要的东西如下：我们可以用如下代码来抓取这个标签：[python] sel.xpath('//ul/li')&&sel.xpath('//ul/li')从标签中，可以这样获取网站的描述：[python] sel.xpath('//ul/li/text()').extract()&&sel.xpath('//ul/li/text()').extract()可以这样获取网站的标题：[python] sel.xpath('//ul/li/a/text()').extract()&&sel.xpath('//ul/li/a/text()').extract()可以这样获取网站的超链接：[python] sel.xpath('//ul/li/a/@href').extract()&&sel.xpath('//ul/li/a/@href').extract()当然，前面的这些例子是直接获取属性的方法。我们注意到xpath返回了一个对象列表，那么我们也可以直接调用这个列表中对象的属性挖掘更深的节点（参考： and in the ）：sites = sel.xpath('//ul/li')
for site in sites:
title = site.xpath('a/text()').extract()
link = site.xpath('a/@href').extract()
desc = site.xpath('text()').extract()
print title, link, desc
3.4xpath实战我们用shell做了这么久的实战，最后我们可以把前面学习到的内容应用到dmoz_spider这个爬虫中。在原爬虫的parse函数中做如下修改：[python] from&scrapy.spider&import&Spider&&from&scrapy.selector&import&Selector&&&&class&DmozSpider(Spider):&&&&&&name&=&"dmoz"&&&&&&allowed_domains&=&["dmoz.org"]&&&&&&start_urls&=&[&&&&&&&&&&"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",&&&&&&&&&&"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"&&&&&&]&&&&&&&&def&parse(self,&response):&&&&&&&&&&sel&=&Selector(response)&&&&&&&&&&sites&=&sel.xpath('//ul/li')&&&&&&&&&&for&site&in&sites:&&&&&&&&&&&&&&title&=&site.xpath('a/text()').extract()&&&&&&&&&&&&&&link&=&site.xpath('a/@href').extract()&&&&&&&&&&&&&&desc&=&site.xpath('text()').extract()&&&&&&&&&&&&&&print&title&&from scrapy.spider import Spider
from scrapy.selector import Selector
class DmozSpider(Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
def parse(self, response):
sel = Selector(response)
sites = sel.xpath('//ul/li')
for site in sites:
title = site.xpath('a/text()').extract()
link = site.xpath('a/@href').extract()
desc = site.xpath('text()').extract()
print title
注意，我们从scrapy.selector中导入了Selector类，并且实例化了一个新的Selector对象。这样我们就可以像Shell中一样操作xpath了。我们来试着输入一下命令运行爬虫（在tutorial根目录里面）：scrapy crawl dmoz运行结果如下：果然，成功的抓到了所有的标题。但是好像不太对啊，怎么Top，Python这种导航栏也抓取出来了呢？我们只需要红圈中的内容：看来是我们的xpath语句有点问题，没有仅仅把我们需要的项目名称抓取出来，也抓了一些无辜的但是xpath语法相同的元素。审查元素我们发现我们需要的具有class='directory-url'的属性，那么只要把xpath语句改成sel.xpath('//ul[@class="directory-url"]/li')即可from scrapy.spider import Spider
from scrapy.selector import Selector
class DmozSpider(Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
def parse(self, response):
sel = Selector(response)
sites = sel.xpath('//ul[@class="directory-url"]/li')
for site in sites:
title = site.x
刚表态过的朋友 ()