在 SegmentFault，学习技能、解决问题
每个月，我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。
问题对人有帮助，内容完整，我也想知道答案
问题没有实际价值，缺少关键内容，没有改进余地
使用python进行网络爬虫编写时，如何使用HTMLParser解析获取到html文档中多个标签中的文本：例如：&a标签&text1&span标签&text2&/span标签&text3&span标签&text4&/span标签&text5&/a标签&使用handle_data函数进行处理时，只能获取到标签中的文本，即text1，text2，text4，其他两个text3和text5无法获取。
求大师们指教！
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
from HTMLParser import *
class MyParser(HTMLParser):
def __init__(self):
HTMLParser.__init__(self)
self.links = []
self.flag = 0
def handle_data(self, data):
data = data.strip()
if data and self.flag:
print "handle_data", data
def handle_starttag(self, tag, attrs):
self.flag = 0
def handle_endtag(self, tag):
tag = tag.strip()
if tag == "span标签":
self.flag = 1
handle_starttag每遇见一个以"&"开始的tag回调一次，handle_endtag每遇见一个"&/"标识的结束时回调一次，你的text3和text5位于结束标记之后，因此要自己手动用flag标记下，然后在handle_data里处理对应的数据
分享到微博？
关闭理由：
删除理由：
忽略理由：
推广（招聘、广告、SEO 等）方面的内容
与已有问题重复（请编辑该提问指向已有相同问题）
答非所问，不符合答题要求
宜作评论而非答案
带有人身攻击、辱骂、仇恨等违反条款的内容
无法获得确切结果的问题
非开发直接相关的问题
非技术提问的讨论型问题
其他原因（请补充说明）
我要该，理由是：
在 SegmentFault，学习技能、解决问题
每个月，我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。Python网络爬虫与信息提取(实例讲解)
作者：Python学习者
字体：[ ] 类型：转载 时间：
下面小编就为大家带来一篇Python网络爬虫与信息提取(实例讲解)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
课程体系结构：
1、Requests框架：自动爬取HTML页面与自动网络请求提交
2、robots.txt:网络爬虫排除标准
3、BeautifulSoup框架：解析HTML页面
4、Re框架：正则框架，提取页面关键信息
5、Scrapy框架：网络爬虫原理介绍，专业爬虫框架介绍
理念：The Website is the API ...
Python语言常用的IDE工具
文本工具类IDE：
IDLE、Notepad++、Sublime Text、Vim & Emacs、Atom、Komodo Edit
集成工具IDE：
PyCharm、Wing、PyDev & Eclipse、Visual Studio、Anaconda & Spyder、Canopy
·IDLE是Python自带的默认的常用的入门级编写工具，它包含交互式文件式两种方式。适用于较短的程序。
·Sublime Text是专为程序员开发的第三方专用编程工具，可以提高编程体验，具有多种编程风格。
·Wing是Wingware公司提供的收费IDE，调试功能丰富，具有版本控制，版本同步功能，适合于多人共同开发。适用于编写大型程序。
·Visual Studio是微软公司维护的，可以通过配置PTVS编写Python，主要以Windows环境为主，调试功能丰富。
·Eclipse是一款开源的IDE开发工具，可以通过配置PyDev来编写Python，但是配置过程复杂，需要有一定的开发经验。
·PyCharm分为社区版和专业版，社区版免费，具有简单、集成度高的特点，适用于编写较复杂的工程。
适用于科学计算、数据分析的IDE：
·Canopy是由Enthought公司维护的收费工具，支持近500个第三方库，适合科学计算领域应用开发。
·Anaconda是开源免费的，支持近800个第三方库。
Requests库入门
Requests的安装：
Requests库是目前公认的爬取网页最好的Python第三方库，具有简单、简捷的特点。
官方网站：http://www.python-requests.org
在"C:\Windows\System32"中找到"cmd.exe"，使用管理员身份运行，在命令行中输入：“pip install requests”运行。
使用IDLE测试Requests库：
&&& import requests
&&& r = requests.get("http://www.baidu.com")#抓取百度页面
&&& r.status_code
&&& r.encoding = 'utf-8'
&&& r.text
Requests库的7个主要方法
requests.request()
构造一个请求，支撑以下各方法的基础方法
requests.get()
获取HTML网页的主要方法，对应于HTTP的GET
requests.head()
获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post()
向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put()
向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch()
向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete()
向HTML页面提交删除请求，对应于HTTP的DELET
详细信息参考 Requests库 API文档：http://www.python-requests.org/en/master/api/
r = requests.get(url)
get()方法构造一个向服务器请求资源的Request对象，返回一个包含服务器资源的Response对象。
requests.get(url, params=None, **kwargs)
url：拟获取页面的url链接
params：url中的额外参数，字典或字节流格式，可选
**kwargs：12个控制访问参数
Requests库的2个重要对象
· Request
· Response:Response对象包含爬虫返回的内容
Response对象的属性
r.status_code ：HTTP请求的返回状态，200表示连接成功，404表示失败
r.text ：HTTP响应内容的字符串形式，即，url对应的页面内容
r.encoding ： 从HTTP header中猜测的相应内容编码方式　
r.apparent_encoding ： 从内容中分析出的相应内容编码方式（备选编码方式）
r.content ： HTTP响应内容的二进制形式
r.encoding ：如果header中不存在charset，则认为编码为ISO-8859-1 。
r.apparent_encoding ：根据网页内容分析出的编码方式可以 看作是r.encoding的备选。
Response的编码：
r.encoding : 从HTTP header中猜测的响应内容的编码方式；如果header中不存在charset，则认为编码为ISO-8859-1，r.text根据r.encoding显示网页内容
r.apparent_encoding : 根据网页内容分析出的编码方式，可以看作r.encoding的备选
爬取网页的通用代码框架
Requests库的异常
requests.ConnectionError
网络连接错误异常，如DNS查询失败拒绝连接等
requests.HTTPError
HTTP错误异常
requests.URLRequired
URL缺失异常
requests.ToolManyRedirects
超过最大重定向次数，产生重定向异常
requests.ConnectTimeout
连接远程服务器超时异常
requests.Timeout
请求URL超时，尝试超时异常
Response的异常
r.raise_for_status() : 如果不是200，产生异常requests.HTTPError；
在方法内部判断r.status_code是否等于200，不需要增加额外的if语句，该语句便于利用try-except进行异常处理
import requests
def getHTMLText(url):
　　　　r = requests.get(url, timeout=30)
　　　　r.raise_for_status() # 如果状态不是200，引发HTTPError异常
　　　　r.encoding = r.apparent_encoding
　　　　return r.text
　　except:
　　　　return "产生异常"
if __name__ == "__main__":
　　url = "http://www.baidu.com"
　　print(getHTMLText(url))
通用代码框架，可以使用户爬取网页变得更有效，更稳定、可靠。
HTTP,Hypertext Transfer Protocol，超文本传输协议。
HTTP是一个基于“请求与响应”模式的、无状态的应用层协议。
HTTP协议采用URL作为定位网络资源的标识。
URL格式：http://host[:port][path]
· host：合法的Internet主机域名或IP地址
· port：端口号，缺省端口号为80
· path：请求资源的路径
HTTP URL的理解：
URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源。
HTTP协议对资源的操作
请求获取URL位置的资源
请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
请求向URL位置的资源后附加新的数据
请求向URL位置存储一个资源，覆盖原URL位置资源
请求局部更新URL位置的资源，即改变该处资源的部分内容
请求删除URL位置存储的资源
理解PATCH和PUT的区别
假设URL位置有一组数据UserInfo，包括UserID、UserName等20个字段。
需求：用户修改了UserName，其他不变。
· 采用PATCH，仅向URL提交UserName的局部更新请求。
· 采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除。
PATCH的主要好处：节省网络带宽
Requests库主要方法解析
requests.request(method, url, **kwargs)
· method：请求方式，对应get/put/post等7种
例： r = requests.request('OPTIONS', url, **kwargs)
· url：拟获取页面的url链接
· **kwargs：控制访问的参数，共13个，均为可选项
params：字典或字节序列，作为参数增加到url中；
kv = {'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123.io/ws',params=kv)
print(r.url)
http://python123.io/ws?key1=value1&key2=value2
data：字典、字节序列或文件对象，作为Request的内容；
json：JSON格式的数据，作为Request的内容；
headers：字典，HTTP定制头；
hd = {'user-agent':'Chrome/10'}
r = requests.request('POST','http://www.yanlei.shop',headers=hd)
cookies：字典或CookieJar，Request中的cookie；
auth：元组，支持HTTP认证功能；
files：字典类型，传输文件；
fs = {'file':open('data.xls', 'rb')}
r = requests.request('POST','http://python123.io/ws',files=fs)
timeout：设定超时时间，秒为单位；
proxies：字典类型，设定访问代理服务器，可以增加登录认证
allow_redirects：True/False，默认为True，重定向开关；
stream：True/False，默认为True，获取内容立即下载开关；
verify：True/False，默认为True，认证SSL证书开关；
cert：本地SSL证书路径
#方法及参数
requests.get(url, params=None, **kwargs)
requests.head(url, **kwargs)
requests.post(url, data=None, json=None, **kwargs)
requests.put(url, data=None, **kwargs)
requests.patch(url, data=None, **kwargs)
requests.delete(url, **kwargs)
网络爬虫引发的问题
性能骚扰：
受限于编写水平和目的，网络爬虫将会为web服务器带来巨大的资源开销
法律风险：
服务器上的数据有产权归属，网路爬虫获取数据后牟利将带来法律风险。
隐私泄露：
网络爬虫可能具备突破简单访问控制的能力，获得被保护数据从而泄露个人隐私。
网络爬虫的限制
·来源审查：判断User-Agent进行限制
检查来访HTTP协议头的User-Agent域，值响应浏览器或友好爬虫的访问。
· 发布公告：Roots协议
告知所有爬虫网站的爬取策咯，要求爬虫遵守。
Robots协议
Robots Exclusion Standard 网络爬虫排除标准
作用：网站告知网络爬虫哪些页面可以抓取，哪些不行。
形式：在网站根目录下的robots.txt文件。
案例：京东的Robots协议
http://www.jd.com/robots.txt
# 注释：*代表所有，/代表根目录
User-agent: *
Disallow: /?*
Disallow: /pop/*.html
Disallow: /pinpai/*.html?*
User-agent: EtaoSpider
Disallow: /
User-agent: HuihuiSpider
Disallow: /
User-agent: GwdangSpider
Disallow: /
User-agent: WochachaSpider
Disallow: /
Robots协议的使用
　　网络爬虫：自动或人工识别robots.txt，再进行内容爬取。
约束性：Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险。
Requests库网络爬虫实战
1、京东商品
import requests
url = "https://item.jd.com/5145492.html"
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[:1000])
print("爬取失败")
2、亚马逊商品
# 直接爬取亚马逊商品是会被拒绝访问，所以需要添加'user-agent'字段
import requests
url = "https://www.amazon.cn/gp/product/B01M8L5Z3Y"
kv = {'user-agent':'Mozilla/5.0'} # 使用代理访问
r = requests.get(url, headers = kv)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(t.text[])
print("爬取失败")
3、百度/360搜索关键词提交
搜索引擎关键词提交接口
· 百度的关键词接口：
http://www.baidu.com/s?wd=keyword
· 360的关键词接口：
http://www.so.com/s?q=keyword
import requests
keyword = "Python"
kv = {'wd':keyword}
r = requests.get("http://www.baidu.com/s",params=kv)
print(r.request.url)
r.raise_for_status()
print(len(r.text))
print("爬取失败")
import requests
keyword = "Python"
kv = {'q':keyword}
r = requests.get("http://www.so.com/s",params=kv)
print(r.request.url)
r.raise_for_status()
print(len(r.text))
print("爬取失败")
4、网络图片的爬取和存储
网络图片链接的格式：
http://www.example.com/picture.jpg
国家地理：
http://www.nationalgeographic.com.cn/
选择一张图片链接：
http://image.nationalgeographic.com.cn/566.jpg
图片爬取全代码
import requests
url = "http://image.nationalgeographic.com.cn/566.jpg"
root = "D://pics//"
path = root + url.split('/')[-1]
if not os.path.exists(root):
os.mkdir(root)
if not os.path.exists(path):
r = requests.get(url)
with open(path,'wb') as f:
f.write(r.content)
print("文件保存成功")
print("文件已存在")
print("爬取失败")
5、IP地址归属地的自动查询
www.ip138.com IP查询
http://ip138.com/ips138.asp?ip=ipaddress
http://m.ip138.com/ip.asp?ip=ipaddress
import requests
url = "http://m.ip138.com/ip.asp?ip="
ip = "220.204.80.112"
r = requests.get(url + ip)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[1900:])
print("爬取失败")
# 使用IDLE
&&& import requests
&&& url ="http://m.ip138.com/ip.asp?ip="
&&& ip = "220.204.80.112"
&&& r = requests.get(url + ip)
&&& r.status_code
&&& r.text
以上这篇Python网络爬虫与信息提取(实例讲解)就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
您可能感兴趣的文章:
大家感兴趣的内容
12345678910
最近更新的内容
常用在线小工具在 SegmentFault，学习技能、解决问题
每个月，我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。
问题对人有帮助，内容完整，我也想知道答案
问题没有实际价值，缺少关键内容，没有改进余地
python爬虫怎么提取br标签上面的内容呢？也就是提取“行业中位数，支付宝”这部分内容，由于本人只学了一点html的皮毛，还没有遇到过这种br半标签的，不知道该怎么做了，我已经试了直接用copy标签的xpath，不论定位到哪里都不行。感谢回复！
&div style="position: display: border-style: white-space: z-index: 9999999; transition: left 0.4s cubic-bezier(0.23, 1, 0.32, 1), top 0.4s cubic-bezier(0.23, 1, 0.32, 1); background-color: rgba(50, 50, 50, 0.7); border-width: 0 border-color: rgb(51, 51, 51); border-radius: 4 color: rgb(255, 255, 255); font-style: font-variant: font-weight: font-stretch: font-size: 14 font-family: &Microsoft YaHei&; line-height: 21 padding: 5 left: 620.518 top: 173.333"&
行业中位数：35,326
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
from pyquery import PyQuery as Q
html = '''
&div style="position: display: border-style: white-space: z-index: 9999999; transition: left 0.4s cubic-bezier(0.23, 1, 0.32, 1), top 0.4s cubic-bezier(0.23, 1, 0.32, 1); background-color: rgba(50, 50, 50, 0.7); border-width: 0 border-color: rgb(51, 51, 51); border-radius: 4 color: rgb(255, 255, 255); font-style: font-variant: font-weight: font-stretch: font-size: 14 font-family: &Microsoft YaHei&; line-height: 21 padding: 5 left: 620.518 top: 173.333"&
行业中位数：35,326
print Q(html).text()
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
使用BeautifulSoup或者Lxml这样的库，可以方便地定位到你需要的Div并抽取文本，然后简单处理就可以了。
import lxml.html
raw_html = '网页内容'
tree = lxml.html.fromstring(raw_html)
div_obj = tree.cssselect('选择器')[0]
div_text = div_obj.text_content
这样就拿到了div里面文本的内容，自己手动过滤即可。
fin_text = div_text.split('&br&')
这样就把内容切割成了一个数组。当然需要先去除换行符。
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
同步到新浪微博
分享到微博？
关闭理由：
删除理由：
忽略理由：
推广（招聘、广告、SEO 等）方面的内容
与已有问题重复（请编辑该提问指向已有相同问题）
答非所问，不符合答题要求
宜作评论而非答案
带有人身攻击、辱骂、仇恨等违反条款的内容
无法获得确切结果的问题
非开发直接相关的问题
非技术提问的讨论型问题
其他原因（请补充说明）
我要该，理由是：
在 SegmentFault，学习技能、解决问题
每个月，我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。今天看啥 热点：
Python网络爬虫与信息提取（二）—— BeautifulSoup，
BeautifulSoup官方介绍：
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.
官方网站：https://www.crummy.com/software/BeautifulSoup/
BeautifulSoup安装
在"C:\Windows\System32"中找到"cmd.exe"，使用管理员身份运行，在命令行中输入：“pip install beautifulsoup4”运行。
C:\Windows\system32&pip install beautifulsoup4
Requirement already satisfied (use --upgrade to upgrade): beautifulsoup4 in c:\users\lei\appdata\local\programs\python\p
ython35\lib\site-packages\beautifulsoup4-4.5.0-py3.5.egg
You are using pip version 8.1.1, however version 9.0.1 is available.
You should consider upgrading via the 'python -m pip install --upgrade pip' command.
提示pip版本过低，使用 python -m pip install --upgrade pip 进行升级。
Beautiful Soup库的安装测试：
from bs4 import BeautifulSoup
soup = BeautifulSoup('&p&data&/p&','html.parser')
演示HTML页面地址:http://www.cnblogs.com/yan-lei
&&& import requests
&&& from bs4 import BeautifulSoup
&&& r = requests.get("http://www.cnblogs.com/yan-lei/")
&&& demo = r.text
&&& soup = BeautifulSoup(demo,"html.parser")
Beautiful Soup库的使用
以HTML为例，任何HTML文件都是有一组"&&"组织起来的，其实就是标签，标签之间形成了上下游关系，形成了标签树。BeautifulSoup库是解析、遍历、维护“标签树”的功能库
&p&..&/p&:标签Tag
标签Name一般成对出现
属性Attributes 0个或多个
Beautiful Soup库的引用
Beautiful Soup库，也叫beautfulsoup4 或bs4。约定引用方式如下，即主要是用BeautifulSoup类。
from bs4 import BeautifulSoup
import bs4
Beautiful Soup类
将标签树转换为BeautifulSoup类，此时我们将HTML、标签树、BeautifulSoup类等价
from bs4 import BeautifulSoup
soup1 = BeautifulSoup("&html&data&/html&","html.parser")
soup2 = BeautifulSoup(open("D://demo.html",'rb'),"html.parser")
soup2 = BeautifulSoup(open("D://demo.html"),"html.parser") 报错：
Traceback (most recent call last):
File "&stdin&", line 1, in &module&
File "C:\Users\lei\AppData\Local\Programs\Python\Python35\lib\site-packages\beautifulsoup4-4.5.0-py3.5.egg\bs4\__init_
_.py", line 191, in __init__
UnicodeDecodeError: 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence
BeautifulSoup对应一个HTML/XML文档的全部内容。
Beautiful Soup库解析器
解析器使用方法条件
bs4的HTML解析器
BeautifulSoup(mk,'html.parser')
lxml的HTML解析器
BeautifulSoup(mk,'lxml')
pip install lxml
lxml的XML解析器
BeautifulSoup(mk,'xml')
pip install lxml
html5lib的解析器
BeautifulSoup(mk,'html5lib')
pip install html5lib
Beautiful Soup类的基本元素
基本元素说明
标签，最基本的信息组织单元，分别用&&和&/&标明开头和结尾
标签的名字，&p&...&/p&的名字是'p'，格式：&tag&.name
Attributes
标签的属性，字典形式的组织，格式：&tag&.attrs
NavigleString
标签内非属性字符串，&&...&/&中字符串，格式&tag&.string
标签内字符串的注释部分，一种特殊的Comment类型
Tag标签：任何存在于HTML语法中的标签都可以用soup.&tag&访问获得；当HTML文档中存在多个相同&tag&对应内容时，soup.&tag&返回第一个。
Tag的名字（name）：每个&tag&都有自己的名字，通过&tag&.name获取，字符串类型。
Tag的attrs（属性）：一个&tag&可以有0个或多个属性，字典类型。
Tag的NavigableString：NavigableString可以跨越多个层次
Tag的Comment：Comment是一种特殊类型。
&&& import requests
&&& from bs4 import BeautifulSoup
&&& r = requests.get('http://www.cnblogs.com/yan-lei/')
&&& html = r.text
&&& soup = BeautifulSoup(html,'html.parser')
&&& soup.title
&title&Python学习者 - 博客园&/title&
&&& soup.a
&a name="top"&&/a&
&&& soup.a.name
&&& soup.a.parent.name
&&& soup.a.attrs
{'name': 'top'}
&&& type(soup.a)
&class 'bs4.element.Tag'&
&&& type(soup.a.attrs)
&class 'dict'&
&&& soup.h1.string
'Python学习者'
&&& type(soup.h1.string)
&class 'bs4.element.NavigableString'&
基于bs4库的HTML内容遍历方法
HTML中 &...&构成了所属关系，形成了标签的树形结构，有三种遍历方式。
使用以下的HTML进行测试：E:\BeautifulSoupTest.html
&meta charset="utf-8"&
&title&BeautifulSoup&/title&
&div id="header"&
style="font-size:16text-align:center"&这里是标题&/h1&
&div id="nav"&
&h1&左导航&/h1&
&div id="main"&
&p&第一段&/p&
&p&第二段&/p&
&img src="test.jpg"/&
&p&&a href="http://www.cnblogs.com/yan-lei/"&博客园&/a&&/p&
&div id="footer"&
&h1&底边&/h1&
标签树的下行遍历
子节点的列表，将&tag&所有儿子节点存入列表
子节点的列表，将&tag&所有儿子节点存入列表
子节点的迭代类型，与.contents类似，用于循环遍历儿子节点
.descendants
子孙节点的迭代类型，包含所有子孙节点，用于循环遍历
BeautifulSoup类是标签树的根节点
&&& from bs4 import BeautifulSoup
&&& soup = BeautifulSoup(open('E:\\BeautifulSoupTest.html','rb'),'html.parser')
&&& soup.head.contents #返回的是列表
['\n', &meta charset="utf-8"&
&title&BeautifulSoup&/title&
&&& len(soup.body.contents)
&&& for child in soup.body.children:
# 遍历儿子节点
print(child)
&div id="header"&
&h1 style="font-size:16text-align:center"&这里是标题&/h1&
&div id="nav"&
&h1&左导航&/h1&
&div id="main"&
&p&第一段&/p&
&p&第二段&/p&
&img src="test.jpg"&
&p&&a href="http://www.cnblogs.com/yan-lei/"&博客园&/a&&/p&
&/img&&/div&
&div id="footer"&
&h1&底边&/h1&
&&& for child in soup.body.descendants:
# 遍历子孙节点
print(child)
&div id="header"&
&h1 style="font-size:16text-align:center"&这里是标题&/h1&
&h1 style="font-size:16text-align:center"&这里是标题&/h1&
这里是标题
&div id="nav"&
&h1&左导航&/h1&
&h1&左导航&/h1&
&div id="main"&
&p&第一段&/p&
&p&第二段&/p&
&img src="test.jpg"&
&p&&a href="http://www.cnblogs.com/yan-lei/"&博客园&/a&&/p&
&/img&&/div&
&p&第一段&/p&
&p&第二段&/p&
&img src="test.jpg"&
&p&&a href="http://www.cnblogs.com/yan-lei/"&博客园&/a&&/p&
&p&&a href="http://www.cnblogs.com/yan-lei/"&博客园&/a&&/p&
&a href="http://www.cnblogs.com/yan-lei/"&博客园&/a&
&div id="footer"&
&h1&底边&/h1&
&h1&底边&/h1&
for child in soup.body.children:
# 遍历儿子节点
print(child)
for child in soup.body.descendants:
# 遍历子孙节点
print(child)
标签树的上行遍历
节点的父亲标签
节点先辈标签的迭代类型，用于循环遍历先辈节点
&&& for parent in soup.a.parents:
if parent is None:
print(parent)
print(parent.name)
[document]
# 判断所有先辈节点，包括soup本身，所以要区别判断
for parent in soup.a.parents:
if parent is None:
print(parent)
print(parent.name)
标签树的平行遍历
.next_sibling
返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling
返回按照HTML文本顺序的上一个平行节点标签
.next_siblings
迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings
迭代类型，返回按照HTML文本顺序的前续所有平行节点标签
*所有的平行遍历发生在同一个父节点下的各节点间。
# div标签下一个平行节点标签
soup.div.next_sibling
# div标签上一个平行节点标签
soup.div.previous_sibling
# 遍历后续节点
for sibling in soup.div.next_sibling:
print(sibling)
# 遍历前续节点
for sibling in soup.div.previous_sibling:
print(sibling)
基于bs4库的HTML格式输出
bs4库的prettify()方法
.prettify()为HTML文本&&及其内容增加'\n'
.prettify()可用于标签，方法：&tag&.prettify()
print(soup.prettify())
bs4库将任何HTML输入都变成utf-8编码，Python 3.x默认支持编码是utf-8，解析无障碍。
信息标记的三种形式
信息的标记：
标记后的信息可形成信息组织结构，增加了信息维度
标记后的信息可用于通信、存储或展示
标记的结构与信息一样具有重要价值
标记后的信息更利于程序的理解和运用
HTML的信息标记：
HTML是WWW（World Wide Web）的信息组织方式。
HTML通过预定义的&&...&/&标签形式组织不同类型的信息。
XML eXtensible Markup Language
XML格式是基于HTML格式发展以来的一种通用的信息格式。
XML基本格式：&name& ... &/name&
空元素缩写形式：&name /&
注释书写形式：&!-- --&
JSON JavaScript Object Notation
有类型的键值对 key:value
使用 "" 表达是字符串类型，没有字符串则是数字类型。
YAML YAML Ain't Markup Language
无类型键值对 key:value
通过缩进表达所属关系
- 表达并列关系
| 表达整块数据
# 表示注释
key : value
key : #Comment
subkey : subvalue
三种信息标记形式的比较：
XML 最早的通用信息标记语言，可扩展性好，但繁琐。Internet上的信息交互与传递。
JSON 信息有类型，适合程序处理（js），较XML简洁。移动应用云端和节点的信息通信，无注释。
YAML 信息无类型，文本信息比例最高，可读性好。各类系统的配置文件，有注释易读。
信息提取的一般方法
方法一：完整解析信息的标记形式，再提取关键信息。
XML JSON YAML
需要标记解析器 例如bs4库的标签树遍历
优点：信息解析准确
缺点：提取过程繁琐，速度慢。
方法二：无视标记形式，直接搜索关键信息。
对信息的文本查找函数即可。
优点：提取过程简介，速度较快。
缺点：提取结果准确性与信息内容相关。
方法三：融合方法
融合方法：结合形式解析与搜索方法，提取关键信息。
基于bs4库的HTML内容查找方法
&&.find_all(name,attrs,recursive,string,**kwargs)
返回一个列表类型，存储查找结果。
name：对标签名称的检索字符串。
attrs：对标签属性值的检索字符串，可标注属性检索。
recursive：是否对子孙全部检索，默认True。
string：&&...&/&中字符串区域的检索字符串。
&tag&(..) 等价于 &tag&.find_all(..)
soup(..) 等价于 soup.find_all(..)
&&& soup.div()
[&h1 style="font-size:16text-align:center"&这里是标题&/h1&]
&&& for tag in soup.find_all(True):
# 返回所有的标签
print(tag.name)
搜索且只返回一个结果，自负串类型，同.find_all()参数
&&.find_parents()
在先辈节点中搜索，返回列表类型，同find_all()参数
&&.find_parent()
在先辈节点中返回一个结果，字符串类型，同.find()参数
&&.find_next_siblings()
在后续平行节点中搜索，返回列表类型，同.find_all()参数
&&.find_next_sibling()
在后续平行节点中返回一个结果，字符串类型，同.find()参数
&&.find_previous_siblings()
在前序节点中搜索，返回列表类型，同.find_all()参数
&&.find_previous_sibling()
在前序节点中返回一个结果，字符串类型，同.find()参数
相关搜索：
相关阅读：
相关频道：
&&&&&&&&&&&&&&&&
Python教程最近更新