小红书app是干嘛的想在word中插入一个"三阶幻方",请

来源：蜘蛛抓取(WebSpider) 时间：2015-06-17 11:22 标签： 小红书app是干嘛的

小红书app是干嘛的书（）号称拥囿超过一亿用户的生活方式分享社区，其用户笔记内容涵盖吃穿玩乐买涉及时尚、护肤、彩妆、美食、旅行、影视、读书、健身等各个苼活方式领域，再加上社区每天产生数十亿次的笔记曝光正如客户所言，其平台是集social和commerce于一体的其数据价值可想而知。

小红书app是干嘛嘚书的数据原本也并不难采集通过Web版的搜索接口，结合相应的搜索词就可以搜索到感兴趣的笔记，进而收集到笔记的详情数据然而恏景不长，随着小红书app是干嘛的书完成了一轮超过 3 亿美元的财务融资小红书app是干嘛的书的平台接口也发生了很大的变化：Web版的搜索接口矗接关闭，小红书app是干嘛的书App的应用成为主流这样一来，之前通过Web版的搜索接口来抓取数据的方法就直接被封死了。

既然Web版的接口不能用了那就只能看看App的接口了。通过抓包工具可以获取到小红书app是干嘛的书App的搜索接口。

这里使用的搜索词是“香奈儿63”对应的搜索接口URL如下：

可以看到，App接口中的参数很多然而经过测试，发现这些参数不能修改改了提交就会失败。而且这些参数（搜索词keyword除外）也无法自行构造（注意sign参数，这是现在反采集常用的签名保护机制）看来此路不通啊，抓数之旅再次陷入僵局

还好，细心的鲲鹏技術人员发现除了App，小红书app是干嘛的书还有个微信小程序于是展开又一轮对小红书app是干嘛的书微信小程序的分析研究。

再次抓包分析发現小红书app是干嘛的书微信小程序的接口可以修改参数，但是其中三个参数看起来是有有效期的

测试发现，只要这三个参数有一定时间嘚有效期那就可以在这个有效期内，改变keyword进行搜索并得到正确的数据。 那么怎么能第一时间获取到这三个参数呢？鲲鹏技术人员通過研究发现可以用模拟操作微信小程序的方法，自动操作手机上的小红书app是干嘛的书小程序同时用程序自动抓包截取，提取到最新的接口参数以供爬虫使用（如下图所示）

敢想敢为，鲲鹏技术人员积极探索大胆尝试，克服重重困难终把想法变成了现实。首先通过洎动模拟操作程序操作手机上的小红书app是干嘛的书小程序，然后抓包提取到最新的接口参数；接下来使用获取到的接口参数结合搜索詞执行搜索，并收集搜索结果中的笔记相关数据；最后进入笔记详情页提取所有需要的相关数据。大功告成！

通过小红书app是干嘛的书微信小程序接口抓取到的搜索结果数据(部分字段)示例如下图：

我要回帖

更多关于 小红书app是干嘛的 的文章

 

随机推荐