哎好久没有学习爬虫了,现在想要重新拾起来发现之前学习爬虫有些粗糙,竟然连requests中添加cookies都没有掌握惭愧。废话不宜多直接上内容。
我们平时使用requests获取网络内容佷简单几行代码搞定了,例如:
天那这是人看的吗?不是这是经过加密处理后的数据。同样我们可以将加密后的数据传递到get方法嘚cookies参数中,服务器会自动将加密后的数据进行解密再检查数据的正确性。
至于如何查看所访问网页的cookies内容,可以使用浏览器的审查功能F12或者右击审查(Chrome)打开。在network中查看链接的Headers内容另外,也可以使用软件抓包查看如Fiddler web Debugger。
这时候获取到的res.content中就是我们将cookies信息添加到get中后訪问网页所获取的内容
使用requests进行网页请求的时候经常会出现中文乱码的问题,可以
有关requests的使用代理问题的解决可以。