社会化媒体
了解更多>>
桂ICP备 号
阅读下一篇
自媒体运营攻略
行业经验交流
Hi，在你登录以后，就可以永久免费的收藏任何您感兴趣的内容，关注感兴趣的作者！
手机注册或邮箱注册
点击按钮进行验证
请输入正确的邮箱
已有帐号请点击
帐号创建成功！
我们刚刚给你发送了一封验证邮件
请在48小时内查收邮件,并按照提示验证邮箱
感谢你对微口网的信任与支持
你输入的邮箱还未注册
还没有帐号请点击
点击按钮进行验证
你输入的邮箱还未注册
又想起来了？
你已成功重置密码，请妥善保管，以后使用新密码登录
邮件发送成功！
我们刚刚给你发送了一封邮件
请在5分钟内查收邮件,并按照提示重置密码
感谢你对微口网的信任与支持
对不起，你的帐号尚未验证
如果你没有收到邮件，请留意垃圾箱 或
意见与建议
请留下您的联系方式
* 留下您正确的联系方式，以便工作人员尽快与你取得联系
转藏至我的藏点查看: 4478|回复: 3
如何提取微信公众号的文章，并保持排版不变
阅读权限90
签到天数：1 天结帖率： (7/9)
本人最后写了个微信公众号取图片的小东西自用。现在想取文章和排版不知道要怎么取。希望有会的支持下。有源码最好啦。谢谢
post_newreply
阅读权限90
结帖率： (11/17)
阅读权限90
签到天数: 1 天结帖率： (7/9)
http://bbs.125.la/forum.php?mod=viewthread&tid=&highlight=%CE%A2%D0%C5%2B%2B%CE%C4%D5%C2
这个方案不可用。只是提取了文章的标题。没有提取文章正文啊。我想要的是提取正文。
阅读权限70
结帖率： (1/1)
FNck又是个啥意思那&&FUCK
精易论坛 - 有你更精彩 /1
今晚（）开课，系统学习易语言编程、软件开发
新春特惠，点击查看详情
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论，本站内容均为会员发表，并不代表精易立场!
揭阳精易科技有限公司申明:我公司所有的培训课程版权归精易所有，任何人以任何方式翻录、盗版、破解本站培训课程，我们必将通过法律途径解决！
公司简介：揭阳市揭东区精易科技有限公司致力于易语言教学培训/易语言学习交流社区的建设与软件开发，多年来为中小企业编写过许许多多各式软件，并把多年积累的开发经验逐步录制成视频课程供学员学习，让学员全面系统化学习易语言编程，少走弯路，减少对相关技术的研究与摸索时间，从而加快了学习进度！
防范网络诈骗，远离网络犯罪
违法和不良信息举报电话，QQ： ，邮箱：@b.qq.com
Powered by
粤公网安备 25当前位置： &
如何爬虫抓取微信公众号文章
搜狗微信公众号已启用反爬虫请各位指点怎么避免这问题。
你好，我也正在做这个，遇到跟你一样的问题，你解决了吗？可以交流一下吗？可以加我QQ&：对方开放浏览就能采集到，不要频繁去采集该回复于9:27:39被管理员删除该回复于5:13:06被管理员删除该回复于5:26:18被管理员删除这里有现成写好的微信公众号文章抓取爬虫，可以直接使用，http://www.shenjianshou.cn/index.php?r=market/configDetail&pid=48该回复于7:04:18被管理员删除你可以看下这里有个现成的PHP源码http://www.codeforge.cn/article/259105，可以直接使用的https://github.com/sundy-li/wechat_spider微信热文捕手http://pan.baidu.com/s/1mhMiTRi&微信热文捕手下载地址该回复于0:29:36被管理员删除https://github.com/zzwwjjdj319/wechat_crawlernodejs实现最近&使用node.js&写了一个抓取微信文章和图片的爬虫，在github&上面&大家可以关注下网址：&https://github.com/zgj233/weixin_article_spiders&git&clone&地址：&:zgj233/weixin_article_spiders.git
本站所有文章全部来源于互联网，版权归属于原作者。本站所有转载文章言论不代表本站观点，如是侵犯了原作者的权利请发邮件联系站长（），我们收到后立即调整或删除。
最近需要抓取新浪微博内容，但是发现微博内容数据不是一次加载的，一次只显示15条。每一页数据需要下拉滚动条两次才能加载完毕。比如我要抓取微博内容第一页数据？浏览器数据加载原理如下：首页访问微博网址：http://weibo.com/p/5510/weibo?from=page_100605&mod=TAB#place进入网页后，你能看到最新的15条微博内容；下拉滚动条...
有一段文本，如图1上述文本为不规则形式（即没有进行格式化的状态，比较混乱，看不出格式来，并且存在换行现象）同样的文本，如图2上述文本经过格式化，是完整的一段代码，并且以一行显示，中间不存在换行（由于长度原因，没有完全显示出来，我列在下方）&tdwidth="20%"style='width:20.0%;border:solidwindowtext1.0border-top:m...
比如一段js代码:111+222;这段代码放在C#程序里如何获取到结果最近做爬虫遇到这个问题，大家有什么好的解决方案？
查询并使用了一些爬虫软件,发现共同的特点就是可以把数据导出成xml那是否有办法自动化把这些导出的xml按照我的要求更新到数据库呢?求一个思路,以前一直做web开发的,这方面没有什么经验...(第一时间想到的居然是做个网页定时调用--!)
问题如图：点击红框的位置，实现无刷新，不过页面的网址也跟着变化了，不知道这是用什么技术实现的？还有鼠标移至红框处按钮，能显示目标网址，不过看源代码，并没有出现出现目标网址，请教大神？？？
这几天因为需求熟知了这个东西，抓取网页信息也非常的快捷方便。但是发现了1个非常重大的问题，这玩意不能抓取js动态生成的html数据。我比如抓取http://zhushou.360.cn/detail/index/soft_id/644630#nogo这个页面的信息。我代码是这样的stringaddress=ArrayListlisturl=newArrayList();HtmlWebweb...
目前在做银行征信报告的数据抓取功能，由于银行征信报告版本较多，分为DOC、DOCX、PDF、HTML等格式文件，且同格式的情况下，里面内容还分版本，不同版本排版不同内容也有出入，目前已做DOC、DOCX格式其中一版本数据抓取，即将要做PDF格式的抓取，由于我对DOC、DOCX格式的抓取方式为通过office组件转换为HTML格式，在用正则匹配相关信息。故为了开发进度以及简洁角度考虑，打算将PDF格...
C#/Asp.net现有一需求，选择需要上传的Word文档，读取Word中所有内容，依次插入到数据库指定列中目前本人思路：读取Word转换为HTML格式，读取HTML内容，根据正则去抓指定Table中的信息，由于不是Excel表格形式，不知道是否可以以Dataset方式读取，请各位大神指教Word信息如图，要抓取的信息为银行征信报告，为保护隐私，敏感数据覆盖
在写一个爬虫，其中抓取数据的核心函数是Download()这个函数会进行递归调用以保证爬虫的不断运作下去。然后在Download()里面还会调用一个DefaultManage类中的Parse()函数，如果每次执行都进行实例化的话那么下载1W个页面就会实例化DefaultManage类1W次，感觉有点浪费。所以想把这个类做成单例模式的。现在的问题是如果有50个线程去执行Download()这个函数，...
很多网站是用js或Jquery生成数据的，到后台获取到数据以后，用document.write()或者("#id").html=""的方式写到页面中，这个时候用浏览器查看源码是看不到数据的。HttpClient是不行的，看网上说HtmlUnit，说可以获取后台js加载完后的完整页面，但是我按照文章上说的写了，都不好使。求解答，其中典型的就是这个链接的页面，怎么能在java程序中获取其中的数据？ht...如何抓取采集微信公众号文章！_百度知道
如何抓取采集微信公众号文章！
像孤狼采集器那样的功能！
我有更好的答案
可以采集到全部文章，很好的工具！
采纳率：40%
为您推荐：
其他类似问题
您可能关注的内容
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。获取某微信公众号所有文章且进行分析 - 简书
获取某微信公众号所有文章且进行分析
在线工具：
微信公众平台上面的公众号很多，里面各种文章都有，很多很杂乱。不过在这些文章中，肯定是会存在自己所认为的精品的文章的。
所以如果我自己能够编写出一个程序，用来获取自己喜欢的某个微信公众号上的文章，获取文章的浏览量和点赞量，然后加以简单的数据分析，那么最终得到的文章列表，肯定就会是比较好的文章了。
这里需要注意的是，通过编写爬虫获取中的微信文章，并不能得到浏览量和点赞量这两个关键性的数据（编程功力入门级别的我）。所以我就另辟蹊径，通过这个网站，来获取我所想要的数据。
注：目前已经找到方法可以。
其实清博指数这个网站上面的数据都很齐全了，可以看到微信公众号的榜单，可以看到每日每周每月的热文，但是还是我上面所说的，内容比较杂乱，那些阅读量很高的文章，有可能就是一些家长级别的人才会喜欢的文章。
当然，我也可以在这个网站上搜索特定的微信公众号，然后看它的历史文章。清博指数做的也已经很细了，可以根据阅读数、点赞数等排序文章。但是，我所需要的可能是点赞数除以阅读数这个很简单的指标，所以我便需要将上面的数据通过爬虫抓取下来，进行下简单的分析。顺便可以练练手，无聊的慌。
以微信公众号简七理财为例，我需要先打开其文章界面，下面是其url：
http://www.gsdata.cn/query/article?q=jane7ducai&post_time=0&sort=-3&date=&search_field=4&page=1
然后我通过分析发现，它总共有25页文章，也就是最后一页文章的url是下面这样，注意只有最后一个参数是不一样的：
http://www.gsdata.cn/query/article?q=jane7ducai&post_time=0&sort=-3&date=&search_field=4&page=25
所以就可以编写一个函数，重复调用25次就可以了。
BeautifulSoup抓取网页上自己所需要的数据
忘了说了，我编写程序的语言用的是Python，其爬虫入门很简单。然后BeautifulSoup是一个网页分析的插件，用来获取文章中的HTML数据很方便。
接下来就是分析网页结构了：
我用红框框起来的是两篇文章，它们在网页的结构代码都是一致的。然后通过审查元素我可以看到网页的对应代码，这时候便可以编写出爬取的规则出来，下面我直接是写成了一个函数：
# 获取网页中的数据
def get_webdata(url):
headers = {
'user-agent':'Mozilla/5.0 (M Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0. Safari/537.36'
r = requests.get(url,headers=headers)
c = r.content
b = BeautifulSoup(c)
data_list = b.find('ul',{'class':'article-ul'})
data_li = data_list.findAll('li')
for i in data_li:
# 替换标题中的英文双引号，防止插入数据库时出现错误
title = i.find('h4').find('a').get_text().replace('"','\'\'')
link = i.find('h4').find('a').attrs['href']
source = i.find('span',{'class':'blue'}).get_text()
time = i.find('span',{'class':'blue'}).parent.next_sibling.next_sibling.get_text().replace('发布时间：'.decode('utf-8'),'')
readnum = int(i.find('i',{'class':'fa-book'}).next_sibling)
praisenum = int(i.find('i',{'class':'fa-thumbs-o-up'}).next_sibling)
insert_content(title,readnum,praisenum,time,link,source)
此函数包含了用requests先来获取网页的内容，然后传给BeautifulSoup用来分析提取我所需要的数据，然后在通过insert_content函数数据库中，数据库的知识本次就不做涉及，全部代码会在下面给出，也算是怕自己之后遗忘。
个人认为，其实BeautifulSoup的知识点只需要掌握我上面代码所用到的find,findAll,get_text(),attrs['src']等几个常用的语句就可以了。
循环抓取，且写入数据库中
最一开始的url还记得吗，总共需要抓取25个页面，这个25个页面的url其实就最后面的参数不一样，所以完全可以给定一个基础url，然后用for函数直接生成25个url就可以了：
# 生成需要爬取的网页链接且进行爬取
def get_urls_webdatas(basic_url,range_num):
for i in range(1,range_num+1):
url = basic_url + str(i)
get_webdata(url)
time.sleep(round(random.random(),1))
basic_url = 'http://www.gsdata.cn/query/article?q=jane7ducai&post_time=0&sort=-3&date=&search_field=4&page='
get_urls_webdatas(basic_url,25)
如上面的代码，get_urls_webdataas这个函数传入了两个参数，便是基础的url和需要的页面数了，可以看到我在代码的最后一行对此函数进行了调用。
此函数还调用了上面我抓取页面所编写的函数get_webdata，这样的话，25个页面上的文章数据都会一次写入数据库中。
然后请注意下面这个小技巧：
time.sleep(round(random.random(),1))
我每用程序爬取完一个网页，此语句便会随机生成一个1s内的时间段，然后休息这么一个很小的时间段，然后接着继续抓取下一个页面，可以防止被ban。
拿到最终数据
先给出我此次编写程序所剩下的代码：
#coding:utf-8
import requests,MySQLdb,random,time
from bs4 import BeautifulSoup
def get_conn():
conn = MySQLdb.connect('localhost','root','0000','weixin',charset='utf8')
return conn
def insert_content(title,readnum,praisenum,time,link,source):
conn = get_conn()
cur = conn.cursor()
print title,readnum
sql = 'insert into weixin.gsdata(title,readnum,praisenum,time,link,source) values ("%s","%s","%s","%s","%s","%s")' % (title,readnum,praisenum,time,link,source)
cur.execute(sql)
conn.commit()
cur.close()
conn.close()
包含开头的import一些插件，然后剩下的这两个函数便是数据库操作相关的函数。
最终我通过在数据库中select * from weixin.，便可以获取到我所抓取到的此微信公众号的文章数据，包括标题、发布日期、阅读量、点赞量、访问url等信息。
这些数据只是最原始的数据，我可以将上面的数据导入到Excel中，进行简单的分析处理，便可以获得我所需要的文章列表。分析思路有下：
我可以按照点赞量排序
我可以按照阅读量排序
我可以用点赞量除以阅读量，然后由大到小排序
我还可以加入时间的因素
我所喜欢的微信公众号就那么几个，我完全可以通过此程序将我所喜欢的微信公众号的文章全部抓取下来，我愿意的话，可以进一步筛选出更加优质的文章。
程序很简单，但是简单的程序可以实现生活中的一些想法，难道不是一件很美妙的事情么。
Full Stack Developer
用两张图告诉你，为什么你的 App 会卡顿? - Android - 掘金Cover 有什么料？ 从这篇文章中你能获得这些料： 知道setContentView()之后发生了什么？ ... Android 获取 View 宽高的常用正确方式，避免为零 - 掘金相信有很多朋友...
用两张图告诉你，为什么你的 App 会卡顿? - Android - 掘金 Cover 有什么料？ 从这篇文章中你能获得这些料： 知道setContentView()之后发生了什么？ ... Android 获取 View 宽高的常用正确方式，避免为零 - 掘金 相信有很多...
在线工具：微信文章转PDF 提前声明：本文不介绍具体的代码部分，只提供思路。具体代码部分较为复杂，文章末尾会列出参考网址。 前面有写过一篇文章：《将微信公众号所有历史文章保存为PDF电子书》。方法的第一步是通过Fiddler 抓包的方式，获取微信公众号可以...
//我所经历的大数据平台发展史（三）：互联网时代 o 上篇http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02 编者按：本文是松子（李博源）的大数据平台发展史...
今天咱们就来花几分钟了解一下Python爬虫好玩的地方吧！差点忘了。在给大家分享之前呢，小编推荐一下一个挺不错的交流宝地，里面都是一群热爱并在学习Python的小伙伴们，大几千了吧，各种各样的人群都有，特别喜欢看到这种大家一起交流解决难题的氛围，群资料也上传了好多，各种大牛...
由于等朋友，这几天没去练车。确切来说，还没去练过车。有时候就是这样，闲的人闲死，忙的人忙死。朋友毕业学校面试两头跑，还要忙考驾照。好不容易把她等回来了，她家里人又出事了。本想自己去练好了，但一个人多了我怕成为习惯，更加不亲近人。什么事情都自己去做，会觉得很心酸。虽然不用等待...
《如何高效阅读》作者【美】彼得孔普。短短6周时间，阅读速度最高可提高8倍亚马逊排名第一的阅读技巧类图书，畅销20年经久不衰 这是一本教你训练阅读速度的书籍，如果你想提高你的阅读速度，严格按里面的训练进行练习，应该能取得不错的效果。 短短六周如何让你的阅读速度得到飞速的提升？...
最近网上关于新交规的段子非常多，收到罚款的也不少，许多人表示一不注意就违反了交通法，确实有点防不胜防。与朋友交流，大家都觉得近期的交规也没有什么问题，但是突然很严有些不能适应，我重新完整的学习了一下新交规，发现其变化大主要是以下几方面： 一是新增扣分项。
今天从托付班接她问她数学卷子考了多少分，一听她又考的不是太好，小火蹭蹭上来了，一路上我也不说笑了，她立马知道我心情不好了！回家后立马去写作业，我则看着小宝，心里也不舒服啊，我怎么不会控制自己的面部表情，心情不好立马显示出来！问她卷子哪错了，她竟然把卷子放在学校没带回...
「 本周话题 」 孩子自己选的兴趣班，现在又不想去了，该尊重他的意愿还是要坚持到底？ 最近，壹姐儿一位朋友对这个问题很是苦恼，应她5岁女儿的要求，她给小姑娘报了一个舞蹈班，可这才刚上了几节课，女儿就说不喜欢了，不想再学。 朋友说，她不想勉强孩子，可就这样轻易放弃了，又担心孩...