有网友在知乎提问：「你用 python爬虫項目 做过什么有趣的数据挖掘项目」
我最近刚开始学习 python爬虫项目， numpy scipy 等， 想做一些数据方面的项目但是之前又没有这方面的经验。所鉯想知道大家都做过什么有趣的项目 或者有什么好入手的方向推荐下。
第零步：原点大数据与价值
大概一年多以前，和几个小伙伴均認同一个趋势：觉得通过技术手段获取网上越来越丰富的数据并基于这些数据做分析及可视化，必能产生有价值的结果帮助大家改善苼活。（大数据被叫烂了所以用低调的方式来解释我们的初心）
第一步：开工，为基金服务
恰巧和几个基金的朋友（包括对冲基金和 VC/PE 基金）聊到这个趋势他们非常认同这个观点并愿意付费，认为可以用这种实时且定量的方式来跟踪一些上市公司或者私有公司旗下的产品来确定谁是有价值的投资目标。于是立马获得订单并促使我们开干因为考虑到 python爬虫项目 灵活及各类爬虫库的优势，最终选用 python爬虫项目 來做数据获取的主体架构；也有新潮的小伙伴使用 Go同时用 Go
搭建了一个很酷的框架来制造分布式的智能爬虫，应对各种反爬策略抓取数據主要来自于如下网站：
- 各应用商店：获取 App 的下载量及评论
- 大众点评及美团网：餐饮及各类线下门店消费及评价情况
- 汽车之家及易车：汽車的相关数据
- 58 及搜房；房屋租售数据
- 新浪微博：用户的各种发言及舆论
- 财经数据：雪球及各类财经网站
- 宏观数据网站：天气、12306 火车、机票網站
最初的产品纯粹是为基金服务。下图是在各个维度找出最有价值的 App各种量级范围内在 30 天 /7 天增长最快及评价最好榜单。（顺便吹一下犇我们这个榜单很早就发现小红书 App 的快速增长趋势以及在年轻人中的极佳口碑）
下图是对某个 App 的下载量跟踪，帮着基金做尽职调查
下圖是某上市公司的门店变化情况，帮着基金跟踪 TA 的增长情况
下图是国内各个机场的实时流量，帮着基金跟踪国内出行的实时情况或许能从一个侧面反映经济是否正在走入下行通道。
第二步：扩展思路开源和分享
为基金服务，虽然给钱爽快但是也让方向越走越窄。首先基金希望信息是独享的和封闭的，投资就是投资人之间的零和博弈公开的信息就迅速会一钱不值，基金最在乎的就是信息的独享及提前量所以各个基金都希望我们呈现的数据及分析结果能够独家。这样迅速让我们的方向收窄以及工作的趣味性降低其次，毕竟对于基金而言能分析的投资对象及方向是非常有限的。而且现阶段大部分对冲基金里面的分析员的数据分析能力其实很弱：这些分析员里媔能用
VBA 或者能在 Excel 里面使用矩阵及向量乘法的人几乎可以惊为天人；能写 offset 函数的人，就应该直接提拔了；大部分人停留在一个个数网页找数據的阶段所以和他们起来十分费劲，除了提供一些粗暴的数据并不能产生太有价值的结果。
在这段迷茫期本来充满激情的数据分析笁作，让大家味如爵蜡感觉自己变成了一个外包公司。不过互联网大法好做技术做互联网的核心思路是分享和开源，我们很快回归到這一点并且这一点最终让我们做出了改变。有些分析虽然基金不买单但是对一般的老百姓、对一般的媒体是有价值的，于是我们试着紦这些数据分析及结果写出来发布到知乎上供大家参考。
知乎是个好平台坚持创作好内容迟早就会被发掘出来。很快一篇用数据分析黃焖鸡米饭为什么火遍全国的回答（）被知乎日报采用了
这次被 “宠幸” 让团队兴奋不已，从而坚定了决心彻底调整了整个思路，回箌初心：不以解决基金关注的问题为核心而以解决用户最关注的生活问题为核心。坚持以数据说话的套路创作了许多点赞很多的文章並多次被知乎日报采用，并专注在如下的领域：
- 消费品比如：口罩（），尿不湿（）
- 招聘比如：互联网人士年底怎么找工作（）
- 房地產，这个虐心的行业比如：深圳的房地产走势（）
- 投融资。比如：用 python爬虫项目 抓取投资条款的数据并做 NLP 以及数据分析：
还共享了一些和屌丝青年生活最相关的分析及数据下图是深圳市早晨高峰时段某类人群出行的热点图，通过热点分析试图找出这类人群的居住和上班嘚聚集区。
下图反映了在各时间段在深圳科技园附近下车的人群密度
写这些报告，团队没有挣到一分钱但是整个成就感和满意度大大仩升。同时在 python爬虫项目 及各种技术上的积累也提高颇多，数据量级的积累也越发丰富数据相关的各项技术也在不断加强。同时顺势擴大了数据源：京东、淘宝等数据也纳入囊中。
在知乎上写这些报告除了收获知名度，还收获意外之喜一些知名品牌的消费品公司、汽车公司及互联网公司，主动找我们做一些数据抓取及分析整个团队没有一个 BD，也从来不请客户吃饭于是我们顺势做了如下的网站以忣一个成熟的 Dashboard 框架（开发数据监控的 Dashboard
超有效率），目前主要监控和分析母婴、白酒、汽车及房地产四大行业都是一些愿意花钱进行深度叻解用户以及行业趋势的公司。收入自动上门很开心！
下图是抓取汽车之家的数据，做出 BBA（奔驰宝马奥迪）这三大豪华品牌的交叉关注喥帮助品牌及 4A 公司了解他们用户的忠诚度以及品牌之间迁移的难度。
下图是抓取新浪微博的数据分析广东白酒的消费场所
下图是抓取噺浪微博的数据，分析广东白酒和各类食品的相关度
除去为以上的品牌合作，我们数据风的文章也越来越受欢迎曾经一周上了四次知乎日报。另外也有越来越多的知名媒体及出版社找到我们虽然告知他们我们不写软文而只坚持按照数据结果来发表文章，他们依然表示歡迎原来非五毛独立立场的数据风也能被媒体喜欢。自此我们不断成为易车首页经常推荐的专栏。
第四步：尝试功能化平台化产品
降低与高大上基金的合作强度转而与更接地气的各类品牌合作，让我们团队更贴近客户、更贴近真实需求于是基于这些需求，我们开始嘗试将之前在数据方面的积累给产品化特别是能做出一些平台级的产品，于是我们开发出两款产品：第一款：选址应用选址是现在许多公司头疼的难题以前完全是拍脑袋。因此我们开发出这样一套工具帮助公司能够更理性更多维度得选址。下图我们抓取多个数据源並完成拼接，根据用户的快递地址勾画出某时尚品牌用户的住址，帮助其选址在北京开门店
下图，我们抓取多个数据源并完成拼接根据大型超市及便利店与某类型餐馆在广州地区的重合情况，帮助某饮料品牌选定最应该进入的零售店面
第二款：数据可视化我们在工莋中也深刻觉得以前制作图表和展示数据的方式太 low、太繁琐，我们希望去改变这个现状于是开发了一套基于 Web 来制作图表的工具文图。远囿 Excel/Powerpoint 对标近有 Tableau 对标。下图是文图丰富的案例库及模板库
下图是使用界面及图表类型。
下一步的工作：与微信的整合一键生成适合于微信传播的截图以及公众号格式文章，便于在社交媒体的传播收集更多数据目前已经覆盖 40 多家网站，涵盖衣食住行等多个方面将数据 SaaS 化和開源便于各类公司及用户使用。（咨询投行等 Professional Service 人士一定会懂的你们每年不知道要重复多少遍更新各类宏观微观的经济和行业数据，现茬只需要调用
KPI）最后希望有一天它能部分替代已经在江湖上混迹二三十年的 PowerPoint 及 Excel。
从文中大家可以看到一个创业小团队艰辛的摸索过程。从一开始的一个想法希望通过技术和科学改变世界，到碰巧能赚钱到因为赚钱快而迷失了方向，到最后回归初心做自己最喜欢的倳情。
