固态硬盘m.2 pcie接口什么牌子好

扁平化 不规则图形组合 可爱 漫画 儿童素材图片免费下载_高清装饰图案png_千库网(图片编号1796478)按+收藏千库网
节省您50%的设计时间
上传时间 : &&
&&&&&&&&&& 扁平化 不规则图形组合 可爱 漫画 儿童 云朵[声明]本站图片来自用户分享,如损害你的权益请联系客服QQ:给予处理。
扁平化 不规则图形组合 可爱 PNG图片质量 支持网络用途图片很实用,已有65238人分享:扁平化 不规则图形组合 可爱 漫画 儿童免费下载&&
&&&&&&&&&& 扁平化 不规则图形组合 可爱 漫画 儿童 云朵[声明] 本站图片来自用户分享,如损害你的权益请联系客服QQ:给予处理。举报不能下载PNG不能下载源文件元素重复源文件无分层源文件与预览图不符合其他:详细描述下问题QQ:元素总数4,927,382张背景总数1,908,460张模板总数7,490,805张 用 户 量842万人一周更新25,432张昨日下载355,884次千库网
用时:0.0153每天节省70%的抠图时间8.25元/月即享无限下载每天节省70%的抠图时间8.25元/月即享无限下载每天提高50%的设计效率8.25元/月即享无限下载每天提高50%的设计效率8.25元/月即享无限下载最高无限下载特权为了给您提供更好的内容,请选择填写&您现在做的是什么工作?请选择您的职业电商设计设计淘宝、天猫、京东店铺页面工作网页设计设计企业、医疗、教育等网页工作平面设计画册展板名片海报设计工作APP/UI设计设计APP/UI/icon相关工作室内设计做室内装饰设计工作服装设计服装行业设计工作建筑设计建筑行业设计工作营销策划运营管理活动营销策划或者公司的管理工作学生高校/大学等在校学生教师从事教学工作和学校管理工作政府工作人员从事政府机关相关工作其他:其他:请填写您的QQ十万分感谢您的填写我们会提供更适合您的内容注: 一个账号不能同时在多个浏览器下登录赞助元素VIP今天下载数不够啦!明天还能下载张哦每日可下载元素张数今日还可下载元素张数0赞助背景VIP今天下载数不够啦!明天还能下载张哦每日可下载背景张数今日还可下载背景张数0系统监控到您在多人使用账号(违反了本网站版权声明),若短时间内再次切换设备,将作封号处理!手机号: 我已阅读并同意企业VIP · 专享全站无限张数下载元素VIP+背景VIP+模板VIP+无限张数下载+其他特权参加上传比赛赢取现金大奖以图换物,限时抢拍每周四玩点刺激的!客服QQ及电话×登录验证码:×注册×手机号:验证码:口工本子全彩无遮相关图文阅读
在线图文阅读热门栏目为您提供Python漫画爬虫两弹 - 简书
Python漫画爬虫两弹
其实从接触python到现在已经快大半年了,中间看过不少的视频,也跟着别人的教程写过不少东西,但是到现在还感觉没有入门。其实中间也明白是为什么,就好比小学生上课一样,上课认真听,认真做笔记,可是下了课之后就从来不看笔记,也从来不写作业。上课一听就懂,自己一写啥都不会,我相信很多人跟我现在是一样的感觉,所以现在创建这个作业集,一来是想鞭策自己真真正正的写点东西,二来也是希望广大的读者老师能够给我批改批改作业,大家相互学习共同进步。
好了,现在开始进入正题。
第一弹 邪恶集
为什么会想到爬呢?是因为之前看到过大神写的,所以自己也想照着他的写一写。不过碍于自己水平有限,msq3用了面向对象编程,其实我还不太会。所以就用自己的方法写了。写的不好的地方还请各位老师多指点指点。
第一步 请求页面
get_page函数请求网页
get_page函数专门用于请求网页的,这里需要注意的地方是网页的编码格式不是通常的utf8,所以要指定网页编码是gb2312,不然返回的网页无法显示中文。
Paste_Image.png
但是我在这里还是遇到了一个小问题。比如说
Paste_Image.png
Paste_Image.png
标题没办法显示,有没有大神知道是为什么?
第二步 获取所有漫画的url
Paste_Image.png
从图中我们可以看到一共有19页661部漫画,所有我们只要写个列表生成式,这样就可以把所有19页的url放进一个列表中然后依次请求每一页的url就能获取所有漫画的url了。很简单吧!
我们可以看到漫画的链接在class="piclist listcon"的列表中,但是链接是不完整的,我们必须继续拼出完整的url才行。
Paste_Image.png
get_comic_url函数就是用来获取所有漫画的url并且将其保存到comic_list的列表中。一共661个url。
获取所有漫画url
Beautifulsoup我就不多说了,了解爬虫的应该都知道。这里我们用到了parse.urljoin()函数(from urllib import parse)这个函数呢是用来拼接url的(我只知道这么多,(⊙﹏⊙)b,感觉自己好水。。。会用就好了。)
第三步 解析漫画详情页获取漫画标题和图片的链接
上一步呢我们获取了所有漫画的url保存在了一个list当中,现在我们挨个请求comic_list中的url。通过观察网页我们发现我们可以从网页上直接看到漫画一共有多少页(page_num),也就是多少张图片。(上一章下一章点开之后会发现跳到了另外一部漫画,所有我们不用在意,这里的一部漫画很短)
Paste_Image.png
获取一共多少页
获取一共多少页
正则是用来提取数字。
然后我们一页一页的点击观察url的变化会发现除了第一页的url就是漫画的url外,其他从第二页一直到最后的url都是有规律的
第十二页url
找到规律这就简单了,跟先前构造漫画url差不多。我们构造构造除了第一页外的其他页数的url
每一页的url
先去掉html,在加上_{}.html。这样我们就可以获取漫画的标题(用来作为文件夹的名字)和漫画每一张图片的链接。方便之后的下载和保存。
第四步 保存漫画
保存漫画分两步,首先是创建文件夹,其次是保存。
创建文件夹
其中的filename就是第三步中获取的漫画标题。保存图片我们用到了urllib库中request.urlretrieve()如果直接保存的话可能会报403的错。所以我们需要把User-agent加进去。
我们用图片链接的后面四位(如这里是dd12)作为每一张图片的名字(title)用于区分图片
这样的话我们就可以把所有的漫画都爬下来啦。是不是很简单!
Paste_Image.png
Paste_Image.png
Paste_Image.png
完整的代码在我的上,喜欢的就赏个星星。
第二弹 风之动漫全站爬虫
相比较邪恶集呢稍微有点难度,不过也是大同小异,跟着我的步骤,我相信你可以看明白。
第一步 先分析网页
打开风之动漫拉到最下面我们可以看到在网站的最下面有一个
打开之后呢我们可以看到全站的所有漫画都在里面。
这下就简单多了,爬取map页的所有漫画的url,然后放入一个list中,依次请求list中漫画的url,从而爬取所有的漫画。这里的漫画跟邪恶集不同的是,每一部漫画都有很多话。每一话又有很多的图片。所有在处理的时候稍微有点麻烦。
第二步 获取漫画每一话的url
漫画每一话
获取漫画每一话的标题和对应的url,保存到字典comic_chapter_url_dict中
Paste_Image.png
Paste_Image.png
如果不明白什么是**kwargs的,请自行百度“什么是*args和**kwargs”,写这个爬虫之前我也不懂,写完之后一知半解。我的理解就是*args呢表示可以把列表当参数传给函数进行处理,**kwargs表示可以把字典当做参数传给函数进行处理。不知道怎么用的可以看看我的爬虫源码。
解析每一话,爬取所有图片
最难的部分来了。首先通过F12 我们可以看到图片的链接在一个id="mhpic"的img标签中
如果直接爬这个标签是什么也爬不到的。因为图片的src是通过js加载的,直接爬是不行。其次我们该如何创建文件夹才能把图片保存到对应的漫画对应的一话中呢?最后我们该如何翻页呢?
风之动漫不像邪恶集直接告诉我们一共有多少页。风之动漫如果不翻到最后一页的话是不知道一共有多少页的。带着这三个问题我们继续往下看。解决第一个问题我们使用selenium+PhantomJS就可以了,selenium是自动化测试框架,可以模拟浏览器操作,PhantomJS是一个无界面的浏览器。我相信大家应该都知道。如果不懂的话推荐大家看一下崔庆才老师的用我也是看这个才明白的。
获取图片链接
html = brower.page_source就是js加载之后的网页,这个时候我们用正则匹配出图片的链接就可以了。接下来我们创建文件夹
我们可以看到在“位置”之中正好有我们要的文件夹名字(旋风管家 旋风管家561话)这就简单了。
使用正则表达式匹配出我们想要的字符分别保存在path1和path2中作为路径,然后调用make_file()函数创建文件
make_file()
最后轮到翻页。这个也挺简单的,我们只要在爬取每一页的时候判断一下这一页有没有字符“下一頁”,如果有就有下一页如果没有就是最后一页。停止爬取。
每一页的url也是有规律的形如index_1,index_2,index_3。。。构造一下就出来了,依次请求依次爬取每一张图片。
听起来是不是挺简单的?其实实现起来还是需要自己多动动脑筋的。大家可以根据我的思路先实现一下,不明白的地方可以参考一下我的两个爬虫虽然可以实现漫画的爬取,但是呢爬虫其实写的很粗糙,有很多地方可以改善。比如说,很多异常处理没有加进去在保存图片的时候经常就会遇到这样的报错
网站没有反爬,如果有反爬我们又该怎么处理呢?这么多漫画爬起来会很慢,我们可以加入多进程和多线程。最后呢,我觉得可以用到面向对象来写可能会更好一点,但是碍于自己水平有限,还不太会用面向对象方法。
最后希望能够帮助那些比我还小白的小白,也希望各位大神看过之后能够指点一二,不胜感激。两个爬虫的这是来自在车上直接插里面去了的最后一页关闭
以下漫画您可能会喜欢...
你可能会喜欢
主人,发现新功能。(←→ 或 点击图片)快速翻页,(V键)回顶部,(F11)全屏洁净阅读!标签:
本页手机地址:
您可能还对这些漫画感兴趣...

我要回帖

更多关于 m.2固态硬盘哪个牌子好 的文章

 

随机推荐