Python爬虫：爬取整站数据进行爬取并实时存储数据库_腾讯视频
三倍流畅播放
1080P蓝光画质
新剧提前看
1080P蓝光画质
纯净式无框播放器
三倍流畅播放
扫一扫 手机继续看
下载需先安装客户端
{clientText}
客户端特权:
3倍流畅播放
当前播放至 {time}
扫一扫 手机继续看
人生苦短，我用Python
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要
副标题要不要如何使用python来爬取自己博客访问量?
爬取自己博客访问量
第三方库(下面)
用到的第三方库
requests : 访问博客用的专用，特别好用的库
BeautifulSoup : 解析返回的html节点用的库
此模块的思路
有了上面的两个库就好说了，先用requests去请求对应的博客网址，在用BeautifulSoup解析html节点，用bs里的方法进行匹配html节点，抓出想要的数据，最后记录每天的访问量和日期，输出到txt文档中。
而用自带的F12找对应的访问量的节点很好找。如下图:
这里不多说，代码上有注释，很详细了
#coding = utf-8
import requests
from bs4 import BeautifulSoup as bs
import time
# 访问我的博客
def spider(url, headers):
r = requests.get(url=url, headers=headers)
html = r.text
# 解析html代码
soup = bs(html, 'lxml')
ul = soup.find(name='ul', attrs={'id': 'blog_rank'})
# 获取ul下的第一个li节点,正则表达式需要字符串，所以转化一下
li = str(ul.find_next('li'))
numbers = re.findall(r'span&(.+?)次
然后代码执行后如下图：
打开看看生成的格式：
这样此模块就算完成了代码上的，但是我觉得每天手动去执行好麻烦，于是想到了可以用windows自带的定时器（也就是任务计划）去执行脚本。
windows每天定时执行脚本
这里说的定时器就是Windows下的任务计划，当时遇到的坑正好总结一下，因为Windows10的定时器去执行脚本当时试了好多遍，都是没有成功，后来通过自己的观察发现是定时器调用路径的坑。。废话不多说了，直接上图了。
Windows键+R 调出此窗口，输入compmgmt.msc （调用的是计算机管理）
2.点击下面的框，创建一个基本任务
3.开始配置任务
4.任务计划的问题
重点：至此配置完成了执行计划，但是！！！！！如果你发现你定时之后Windows并没有执行你的脚本，那么一定是你的批处理文件写的有问题，也就是.bat的问题。
刚开始LZ也是一脸懵逼， 为什么就执行不了呢！后来决定用在.bat中添加试试，让cmd执行完停止在这里看看。如下图：
这里有个test.bat是用来任务计划测试用的Windows脚本，还有一个是helloworld的脚本。
test.bat如下图所示：
python3 helloWorld.py
#这行代码可以让Windows调用
#cmd的窗口暂停住，不会自动消失
当到时间自动执行后，发现：
Windows调用的时候，默认cmd路径是在system32下，所以。。。
我们需要将我们的批处理文件改动一下。
最终我执行抓取博客的.bat文件如下：
先cd到脚本的路径下，再去执行既可成功运行：
至此，第一个模块全部完成。
读取txt数据生成访问量与日期图
这里就坐等了两个月的数据，每天都会自己执行一下，然后继续上代码
代码不详讲，有注释。
#coding=utf-8
import matplotlib.pyplot as plt
import matplotlib.dates as mdates
import datetime
import decimal
#根据数据动态画图
def drawBydata():
#读取输出的txt文档
(recordDate,y) = readData('visitorNumber.txt')
#获取记录的日期列表范围(0,)
x = range(len(recordDate))
# plt.figure() 开始画图,r:红色
#https://www.360doc.com/content/15/122.shtml
plt.plot(x,y,'ro-')
#rotation,x轴字体旋转的角度
plt.xticks(x, recordDate,rotation=70)
plt.margins(0.08)
plt.subplots_adjust(bottom=0.15)
#设置x轴的名字
plt.xlabel(&Date&)
plt.ylabel(&Visitors&)
plt.title(&My blog visit analysis&)
plt.show()
print('执行成功！')
def readData(fileName):
#以只读文件打开
inFile = open(fileName,'r')
#定义第一列数据为博客访问量
visitors = []
#第二列数据为日期
recordDate = []
#遍历文件每一行
for line in inFile:
trainingSet = line.split(',')
#将第一列和第二列数据拼入对应的列表中
visitors.append(trainingSet[0])
recordDate.append(trainingSet[1])
inFile.close()
return (recordDate,visitors)
if __name__ == '__main__':
drawBydata()
执行后的效果图
如下图，有木有很清晰呢- -哈哈哈！情满四合院
那片星空那片海2
百变布鲁可
梦想越走越近
摔跤吧!爸爸
橙子乐园在日本
我们最美好的十年
玩具益趣园
英语启蒙慢速儿歌
小猪佩奇玩具秀
当怪物来敲门
盗墓惊魂之锁魂
您的列表中暂时没有内容
暴风无线客户端
随时随地看大片
&&&Python实战: 一周学会爬取网页
10Python实战: 一周学会爬取网页
简介：毕业不知如何就业？工作效率低经常挨骂？很多次想学编程都没有学会？
Python实战：一周学会爬取网页，无需编程基础，轻松入门爬虫。
带你学到如何从网上批量获得海量数据
兔小贝教你唱儿歌
宝宝成长好伙伴
从小培养宝宝爱护动物
儿童亲子游戏类动画
惊喜奇趣蛋和各种过家家玩...
捣蛋猪亲子故事
大雄的奥特曼玩具
Linux入门基础
PHP中级教程jQuery视频教...
芭比动画剧场
从小培养宝宝音乐天赋
一起来听儿歌吧！
打造优良学唱儿歌环境
结合代码实例解析
熊大熊二智斗光头强
打好C语言的基础
教你从零开始开餐馆
治愈系萌兔的故事
理解并掌握使用微信SDK
螺丝钉家族的幽默故事
从小培养宝宝音乐天赋
经典小动画
Word操作技巧60条
Excel基础技能
PHP高级教程ThinkPHP视频...
汤姆猫的各种爆笑短片
两条鱼儿的奇妙小世界
儿童益智亲子动画
3dmax基础教程入门到精通...用python爬取网站的一些小技巧
我的图书馆
用python爬取网站的一些小技巧
1.最基本的抓站2.使用代理服务器这在某些情况下比较有用，比如IP被封了，或者比如IP访问的次数受到限制等等。3.需要登录的情况登录的情况比较麻烦我把问题拆分一下：3.1 cookie的处理是的没错，如果想同时用代理和cookie，那就加入proxy_support然后operner改为opener = urllib2.build_opener(proxy_support, cookie_support, urllib2.HTTPHandler)3.2 表单的处理登录必要填表，表单怎么填？首先利用工具截取所要填表的内容。比如我一般用firefox+httpfox插件来看看自己到底发送了些什么包这个我就举个例子好了，以verycd为例，先找到自己发的POST请求，以及POST表单项：可以看到verycd的话需要填username,password,continueURI,fk,login_submit这几项，其中fk是随机生成的（其实不太随机，看上去像是把epoch时间经过简单的编码生成的），需要从网页获取，也就是说得先访问一次网页，用正则表达式等工具截取返回数据中的fk项。continueURI顾名思义可以随便写，login_submit是固定的，这从源码可以看出。还有username，password那就很显然了。好的，有了要填写的数据，我们就要生成postdata然后生成http请求，再发送请求：3.3 伪装成浏览器访问某些网站反感爬虫的到访，于是对爬虫一律拒绝请求。这时候我们需要伪装成浏览器，这可以通过修改http包中的header来实现：3.4 反”反盗链”某些站点有所谓的反盗链设置，其实说穿了很简单，就是检查你发送请求的header里面，referer站点是不是他自己，所以我们只需要像3.3一样，把headers的referer改成该网站即可，以黑幕著称地cnbeta为例：headers是一个dict数据结构，你可以放入任何想要的header，来做一些伪装。例如，有些自作聪明的网站总喜欢窥人隐私，别人通过代理访问，他偏偏要读取header中的X-Forwarded-For来看看人家的真实IP，没话说，那就直接把X-Forwarde-For改了吧，可以改成随便什么好玩的东东来欺负欺负他，呵呵。3.5 终极绝招有时候即使做了3.1-3.4，访问还是会被据，那么没办法，老老实实把httpfox中看到的headers全都写上，那一般也就行了。 再不行，那就只能用终极绝招了，selenium直接控制浏览器来进行访问，只要浏览器可以做到的，那么它也可以做到。类似的还有pamie，watir，等等等等。4.多线程并发抓取单线程太慢的话，就需要多线程了，这里给个简单的线程池模板 这个程序只是简单地打印了1-10，但是可以看出是并发地。5.验证码的处理碰到验证码咋办？这里分两种情况处理：google那种验证码，凉拌简单的验证码：字符个数有限，只使用了简单的平移或旋转加噪音而没有扭曲的，这种还是有可能可以处理的，一般思路是旋转的转回来，噪音去掉，然后划分单个字符，划分好了以后再通过特征提取的方法(例如PCA)降维并生成特征库，然后把验证码和特征库进行比较。这个比较复杂，一篇博文是说不完的，这里就不展开了，具体做法请弄本相关教科书好好研究一下。事实上有些验证码还是很弱的，这里就不点名了，反正我通过2的方法提取过准确度非常高的验证码，所以2事实上是可行的。6 gzip/deflate支持现在的网页普遍支持gzip压缩，这往往可以解决大量传输时间，以VeryCD的主页为例，未压缩版本247K，压缩了以后45K，为原来的1/5。这就意味着抓取速度会快5倍。然而python的urllib/urllib2默认都不支持压缩，要返回压缩格式，必须在request的header里面写明’accept-encoding’，然后读取response后更要检查header查看是否有’content-encoding’一项来判断是否需要解码，很繁琐琐碎。如何让urllib2自动支持gzip, defalte呢？其实可以继承BaseHanlder类，然后build_opener的方式来处理：然后就简单了，encoding_support = ContentEncodingProcessor opener = urllib2.build_opener( encoding_support, urllib2.HTTPHandler ) #直接用opener打开网页，如果服务器支持gzip/defalte则自动解压缩 content = opener.open(url).read()7. 更方便地多线程总结一文的确提及了一个简单的多线程模板，但是那个东东真正应用到程序里面去只会让程序变得支离破碎，不堪入目。在怎么更方便地进行多线程方面我也动了一番脑筋。先想想怎么进行多线程调用最方便呢？1、用twisted进行异步I/O抓取事实上更高效的抓取并非一定要用多线程，也可以使用异步I/O法：直接用twisted的getPage方法，然后分别加上异步I/O结束时的callback和errback方法即可。例如可以这么干：twisted人如其名，写的代码实在是太扭曲了，非正常人所能接受，虽然这个简单的例子看上去还好；每次写twisted的程序整个人都扭曲了，累得不得了，文档等于没有，必须得看源码才知道怎么整，唉不提了。如果要支持gzip/deflate，甚至做一些登陆的扩展，就得为twisted写个新的HTTPClientFactory类诸如此类，我这眉头真是大皱，遂放弃。有毅力者请自行尝试。这篇讲怎么用twisted来进行批量网址处理的文章不错，由浅入深，深入浅出，可以一看。2、设计一个简单的多线程抓取类还是觉得在urllib之类python“本土”的东东里面折腾起来更舒服。试想一下，如果有个Fetcher类，你可以这么调用这么个多线程调用简单明了，那么就这么设计吧，首先要有两个队列，用Queue搞定，多线程的基本架构也和“技巧总结”一文类似，push方法和pop方法都比较好处理，都是直接用Queue的方法，taskleft则是如果有“正在运行的任务”或者”队列中的任务”则为是，也好办，于是代码如下：8. 一些琐碎的经验1、连接池：opener.open和urllib2.urlopen一样，都会新建一个http请求。通常情况下这不是什么问题，因为线性环境下，一秒钟可能也就新生成一个请求；然而在多线程环境下，每秒钟可以是几十上百个请求，这么干只要几分钟，正常的有理智的服务器一定会封禁你的。然而在正常的html请求时，保持同时和服务器几十个连接又是很正常的一件事，所以完全可以手动维护一个HttpConnection的池，然后每次抓取时从连接池里面选连接进行连接即可。这里有一个取巧的方法，就是利用squid做代理服务器来进行抓取，则squid会自动为你维护连接池，还附带数据缓存功能，而且squid本来就是我每个服务器上面必装的东东，何必再自找麻烦写连接池呢。2、设定线程的栈大小栈大小的设定将非常显著地影响python的内存占用，python多线程不设置这个值会导致程序占用大量内存，这对openvz的vps来说非常致命。stack_size必须大于32768，实际上应该总要32768*2以上from threading import stack_size stack_size(32768*16)3、设置失败后自动重试4、设置超时import socket socket.setdefaulttimeout(10) #设置10秒后连接超时5、登陆登陆更加简化了，首先build_opener中要加入cookie支持，参考“总结”一文；如要登陆VeryCD，给Fetcher新增一个空方法login，并在init()中调用，然后继承Fetcher类并override login方法：于是在Fetcher初始化时便会自动登录VeryCD网站。9. 总结如此，把上述所有小技巧都糅合起来就和我目前的私藏最终版的Fetcher类相差不远了，它支持多线程，gzip/deflate压缩，超时设置，自动重试，设置栈大小，自动登录等功能；代码简单，使用方便，性能也不俗，可谓居家旅行，杀人放火，咳咳，之必备工具。之所以说和最终版差得不远，是因为最终版还有一个保留功能“马甲术”：多代理自动选择。看起来好像仅仅是一个random.choice的区别，其实包含了代理获取，代理验证，代理测速等诸多环节，这就是另一个故事了。
喜欢该文的人也喜欢利用python如何爬取js里面的内容
原创
 09:54:12
297
本篇文章给大家分享的内容是3利用python如何爬取js里面的内容 ，有着一定的参考价值，有需要的朋友可以参考一下一、在编写爬虫软件获取所需内容时可能会碰到所需要的内容是由javascript添加上去的 在获取的时候为空 比如我们在获取新浪新闻的评论数时使用普通的方法就无法获取普通获取代码示例：import requests
from bs4 import BeautifulSoup
res = requests.get('http://news.sina.com.cn/c/nd//doc-ifyfzhac1650783.shtml')
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')
commentCount = soup.select_one('#commentCount1')
print(commentCount.text)此时所获取的结果为空 这是由于内容是存储在js文件中因此我们需要取寻找存储评论内容的js 经过查找我们发现其存储在改js里将相应内容放入json数据查看器中我们发现评论总数和评论内容都在该js文件中一json格式存放在消息头中我们可以看的该js文件的访问路径及请求方式代码示例import json
comments = requests.get('http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=gn&newsid=comos-fyfzhac;)
comments.encoding = 'utf-8'
print(comments)
jd = json.loads(comments.text.strip('var data=')) #移除改var data=将其变为json数据
print(jd['result']['count']['total'])注释：这里解释下为何需要移除 var data= 因为在获取时字符串前缀是包含var data=的 其不符合json数据格式 因此转化时需将其从请求内容中移除取评论总数时为何使用jd['result']['count']['total']以上就是利用python如何爬取js里面的内容的详细内容，更多请关注php中文网其它相关文章！
江湖传言：PHP是世界上最好的编程语言。真的是这样吗？这个梗究竟是从哪来的？学会本课程，你就会明白了。
PHP中文网出品的PHP入门系统教学视频，完全从初学者的角度出发，绝不玩虚的，一切以实用、有用...
ThinkPHP是国内最流行的中文PHP开发框架,也是您Web项目的最佳选择。《php.cn独孤九贱(5)－ThinkPHP5视频教程》课程以ThinkPHP5最新版本为例，从最基本的框架常识开始，将...
《php.cn原创html5视频教程》课程特色：php中文网原创幽默段子系列课程，以恶搞，段子为主题风格的php视频教程！轻松的教学风格，简短的教学模式，让同学们在不知不觉中，学会了HTML知识。
本套教程,以一个真实的学校教学管理系统为案例,手把手教会您如何在一张白纸上,从零开始,一步一步的用ThinkPHP5框架快速开发出一个商业项目。
所有计算机语言的学习都要从基础开始，《PHP入门视频教程之一周学会PHP》不仅是PHP的基础部分更主要的是PHP语言的核心技术，是学习PHP必须掌握的内容，任何PHP项目的实现都离不开这部分的内容，通...
本课以最新版ThinkPHP5.0.10为基础进行开发，全程实录一个完整企业点，从后台到前台，从控制器到路由的全套完整教程，不论是你是新人，还是有一定开发经验的程序员，都可以从中学到实用的知识~~
ThinkPHP是一个快速、开源的轻量级国产PHP开发框架，是业内最流行的PHP框架之一。本课程以博客系统为例，讲述如何使用TP实战开发，从中学习Thinkphp的实践应用。模版下载地址：http:/...
本课程是php实战开发课程，以爱奇艺电影网站为蓝本从零开发一个自己的网站。目的是让大家了解真实项目的架构及开发过程
本课以一个极简的PHP开发框架为案例,向您展示了一个PHP框架应该具有的基本功能，以及具体的实现方法，让您快速对PHP开发框架的底层实现有一个清楚的认识,为以后学习其实的开发框架打下坚实的基础。
javascript是运行在浏览器上的脚本语言，连续多年，被评为全球最受欢迎的编程语言。是前端开发必备三大法器中，最具杀伤力。如果前端开发是降龙十八掌，好么javascript就是第18掌：亢龙有悔。...
本站9月直播课已经结束,本套教程是直播实录,没有报上名或者漏听学员福利来了，赶紧看看吧，说不定这里就有你的菜
轻松明快，简洁生动，让你快速走入HTML5的世界，体会语义化开发的魅力
JavaScript能够称得上是史上使用最广泛的编程语言，也是前端开发必须掌握的三技能之一：描述网页内容的HTML、描述网页样式的CSS以及描述网页行为的JavaScript。本章节将帮助大家迅速掌握...
Bootstrap 是最受欢迎的 HTML、CSS 和 JS 框架，用于开发响应式布局、移动设备优先的 WEB 项目。为所有开发者、所有应用场景而设计,它让前端开发更快速、简单，所有开发者都能快速上手...
《php.cn独孤九贱（2）－css视频教程》课程特色：php中文网原创幽默段子系列课程，以恶搞，段子为主题风格的php视频教程！轻松的教学风格，简短的教学模式，让同学们在不知不觉中，学会了CSS知识...
《php用户注册登录系统》主要介绍网站的登录注册功能,我们会从最简单的实现登录注册功能开始，增加验证码，cookie验证等，丰富网站的登录注册功能
jQuery是一个快速、简洁的JavaScript框架。设计的宗旨是“write Less，Do More”，即倡导写更少的代码，做更多的事情。它封装JavaScript常用的功能代码，提供一种简便的...
《PHP学生管理系统视频教程》主要给大家讲解了HTML，PHP，MySQL之间的相互协作，实现动态的网页显示和获取数据.
《最新微信小程序开发视频教程》本节课程是由微趋道录制，讲述了如何申请一个微信小程序，以及开发中需要使用哪些工具，和需要注意哪些等。
《弹指间学会HTML视频教程》从最基本的概念开始讲起，步步深入，带领大家学习HTML,了解各种常用标签的意义以及基本用法，学习HTML知识为以后的学习打下基础
全栈工程师
文章总浏览数