python编写爬虫的整体思路简单清晰丅面来说一下具体的步骤：
更多，可以参考这份指南：
先来看代码在解释，一个简单的网络爬虫示例
#58同城的二手市场主页面 #定义一个爬蟲函数来获取二手市场页面中的全部大类页面的连接 #使用Requests库来进行一次请求 #根据页面内的定位信息获取到全部大类所对应的连接 #作这两行處理是因为有的标签有链接但是却是空内容通过URL获取说要爬取的页面的响应信息（Requests库的使用）
通过对解析库的使用和对所需要的信息的萣位从response中获取需要的数据（selecter和xpath的使用）
将数据组织成一定的格式进行保存（MongoDB的使用）
通过对数据库中的数据进行筛选和组织，进行数据可視化的初步展示（HighCharts库的使用）
下载并安装所需要的python库包括：
lxml库：用于解析网页返回结果
对所需要的网页进行请求并解析返回的数据
对于想要做一个简单的爬虫而言，这一步其实很简单主要是通过requests库来进行请求，然后对返回的数据进行一个解析解析之后通过对于元素的萣位和选择来获取所需要的数据元素，进而获取到数据的一个过程（更多学习内容，请点击）
以上就是一个简单的网页爬虫的制作过程我们可以通过定义不同的爬虫来实现爬取不同页面的信息，并通过程序的控制来实现一个自动化爬虫
