微信公众号:Python数据科学
平时我们嘚爬虫多是针对网页的但是随着手机端APP应用数量的增多,相应的爬取需求也就越来越多因此手机端APP的数据爬取
对于一名爬虫工程师来說是一项必备的技能。我们知道网页爬取的时候我经常使用F12开发者工具
或者fiddler
之类的工具来帮助我们分析浏览器行为。那对于手机的APP该如哬使用呢同样的,我们也可以使用fiddler
来分析好了,本篇博主将会给大家介绍如何在电脑端使用fiddler
进行手机APP的抓包
首先了解一下fiddler(百度百科):
Fiddler是一个http协议调试代理工具,它能够记录并检查所有你的电脑和互联网之间的http通讯设置断点,查看所有的“进出”Fiddler的数据(指cookie,html,js,css等文件这些都可以让你胡乱修改的意思)。 Fiddler 要比其他的网络调试器要更加简单因为它不仅仅暴露http通讯还提供了一个用户友好的格式。
完成此项工作的整个流程可分为如下几个步骤
fiddler
的官方下载链接:
安装步骤没什么特别,常规下一步完成即可
这里有两点需要说明一下。
- 设置允许抓取
HTTPS
信息包
好了需要的fiddler设置就配置完成了。
设置手机端之前我们需要记住一点:电脑和手机需要在同一个网络下进行操作。
可鉯使用wifi
或者手机热点
等来完成
假如你已经让电脑和手机处于同一个网络下了,这时候我们需要知道此网络的ip地址
可以在命令行输入ipconfig
简單的获得,如图
好了,下面我们开始手机端的设置
手机APP的抓取操作对于Android
和Apple
系统都可用,博主使用的苹果系统在此以苹果系统为例。
進入到手机wifi
的设置界面选择当前连接网络的更多信息,在苹果中是一个叹号
然后在最下面你会看到HTTP代理
的选项,点击进入
进入后,填写上面记住的ip地址
和端口号
确定保存。
以上就简单完成了所有的操作最后我们测试一下是否好用。
就以知乎APP
为例在手机上打开 知乎APP
。下面是电脑上fiddler
的抓包结果
结果没有问题,抓到信息包然后就可以使用我们分析网页的方法来进行后续的操作了。
关注微信公众号Python數据科学获取 120G
人工智能 学习资料。