查看: 12969|回复: 0
成为数据科学家【数据挖掘工程师】应该具备哪些技能
主题帖子积分
高级会员, 积分 1272, 距离下一级还需 3728 积分
高级会员, 积分 1272, 距离下一级还需 3728 积分
本帖最后由 starrycheng 于
17:11 编辑
1.你认为成为数据科学家需要哪些技能?
2.你认为该如何学习这些技能？
经常有人问我“要成为数据挖掘工程师或者数据科学家应该读什么书？”类似的问题。下面是一份建议书单，同时也是成为数据科学家的指南，当然，这不包括取得合适大学学位的要求。在深入探讨之前，数据科学家似乎需要掌握许多技巧，如：统计学、编程、数据库、演讲技巧、数据清理与变换知识。
理想情况下，你需要具备以下技能：了解统计学与数据预处理知识。理解统计陷阱。你必须明白在统计分析过程中偏差与常见错误都将影响统计分析人员。了解几个机器学习与统计技术的工作原理。时间序列分析。编程技巧 (R, Java, Python, Scala)。数据库 (SQL and NoSQL Databases)。网页爬虫 (Apache Nutch, Scrapy, Jsoup).文本数据。
了解统计学一本不错的统计学教材是：. 当然 IBM SPSS 是工业统计学的重要部分，推荐 大部分关于 IBM SPSS 软件的书，都注重都能提供基本的统计概念与软件使用技巧，Morgan 的书里包含了大量大数据集的实践方法。
数据预处理我必须再次强调确认并检查你数据的重要性。数据预处理除了能将数据转换成算法更易识别或处理的模式还能防止将输入数据错误。推荐书籍如下：
了解陷阱有太多的与偏差的示例会影响你的分析工作，特别是当你没有意识到这个问题的时候。这在我身边的各种情况下发生。实际上，这个博客包含了一系列我试图高度强调的由于自然数据带来的统计附庸。大数据的需要注意的技能是可信度。例如：
下面Quara关于该问题的问答：..
推荐以下书籍：
假如你在研究财政预测，我强烈建议你读一读
该书关注的是数据挖掘偏差对数据分析的影响。
理解常用机器学习与统计算法工作机制你需要理解每个算法的优点与缺点。算法是够可以处理数据噪声？算法的适应的数据规模？算法可以采用什么优化方法？算法是否需要对数据进行变换？下面是一个微调 SVM 回归模型的一个示例:.
另外一本值得注意的书是： 通过 包给出了大量的实例，该宏包增强了参数优化能力。
当需要了解机器学习与统计算法时，我推荐以下书籍：
时间序列预测在很多情况下，我们需要确定并预测时间序列数据的趋势。 是一本介绍预测的优秀数据。 是另一本关于时间序列预测 R 实践的书籍。假设你对时间序列非常感兴趣，那么我还会推荐 ForeCA 的 R宏包，该宏包会告诉你如何预测时间序列。
编程能力编程能力是另一项必要的技巧。它可以帮助你是用许多书籍科学工具或者是编程接口，通常是 Java 与 Python. Scala 也正在成为数据科学的重要编程语言，R 语言通常来说是必须的。 具有程序经验通常会让你在学习其他新的程序语言时变得很容易。你应当经常了解数据科学对程序语言的要求 (见). 从当前看来 Java 是目前最流行的程序语言，然后是 Python 和 SQL. 另外，从谷歌的趋势来看也是非常有用的途径，但有趣的是 Python 不是当前值得学习的程序语言。
数据库知识以我的经验来看数据库知识是非常重要的一项技能。通常数据库管理员或者其他 IT 工程师会因为太忙而没有时间帮你提取数据。这意味着你需要掌握如何连接数据库，优化查询以及执行一些查询或变化来获取你想要的数据格式等技巧。
网络爬虫网页爬虫是非常有用的一项技能，如果你知道如何编写网络爬虫，你可以从网络上爬取并提取许多有价值的信息。你应当了解 HTML 元素以及 XPath 。下面是一些可以用于构建爬虫的工具：
文本数据文本数据包含了许多非常有用的信息，如：顾客意见、情绪以及意愿。信息提取与文本分析是数据科学家需要掌握的重要技能。
信息提取：
文本分析：
推荐以下书籍：
结语最后，这里还有一些数据科学家不该错过的书籍：
本文译自 原文链接：作者简介：王穆荣，一名在读博士生，目前博二，主要研究方向是图像视频处理！热爱技术与阅读的宅男一枚。我的博客：
站长推荐 /4
云计算hadoop视频大全(新增 yarn、flume|storm、hadoop一套视频
等待验证会员请验证邮箱
新手获取积分方法
技术类问答，解决学习openstack，hadoop生态系统中遇到的问题
Powered by442被浏览41,431分享邀请回答152 条评论分享收藏感谢收起538 条评论分享收藏感谢收起数据科学家、数据分析师、数据挖掘工程师能分清？
数据科学家（Data scientist）的叫法来自国外，广义上它是对从事数据分析和数据挖掘从业人员的一个泛称，它只是一个头衔，并不是一个职位。狭义上，数据科学家一般是指行业里面的领军人物和顶尖科学人才，如百度前首席数据科学家吴恩达。
在人才市场上我们通常可以看到的是后三个职位(数据分析师、数据挖掘工程师、数据工程师)，接下里我们就区分一下这几个职位的相同点和不同点。首先看下企业对这三个职位的要求和描述。
职位和能力下面是阿里对这3个职位的要求和描述：
数据分析师
岗位描述:1、独立负责业务数据收集整理，搭建业务数据体系，结合业务对多种数据源进行深度诊断性组合分析、挖掘、深度分析；2、通过专题分析，对业务问题进行深入分析，为业务的策略、产品优化提供数据支持；3、独立完成业务日常的产品运营工作，可以快速有效地取得一定的业务成果。岗位要求:1、统计、数学、信息技术、生物统计等专业本科及以上学历(硕士优先)，二年以上相关工作经历；2、熟悉数据库基本原理，熟练运用SQL，熟练操作excel、PPT；熟悉数据挖掘的基本原理，熟练操作SAS、SPSS clementine等数据分析/挖掘工具的优先；3、良好的数据敏感度，能从海量数据提炼核心结果，熟练独立编写商业数据分析报告，及时发现和分析其中隐含的变化和问题，给出建议；4、具备良好的沟通能力和团队精神，较强的学习能力，能承担一定的工作压力
数据挖掘工程师
岗位描述:在这里，你可以学习和掌握阿里巴巴集团业界最先进的大数据处理平台，涉及信息检索、自然语言处理、机器学习、数据挖掘、分布式计算等一系列的专业领域；在这里，你将拥有最好的数据和实验环境，立足于uc浏览器数亿用户和数千亿浏览信息，与这些领域内的顶尖大牛工程师们一起参与目前最前沿的推荐、预测等大数据应用场景的算法设计和工程实现。岗位要求:1、本科以上学历，扎实的统计学、数据挖掘、机器学习理论基础，能够利用高等数学知识推演高维数学模型。2、熟悉聚类、分类、回归、图模型等机器学习算法，对常见的核心算法理解透彻，有实际建模经验；3、具有扎实的计算机操作系统、数据结构等编程基础，精通至少一门编程语言例如c++/python/R；4、深入理解Map-Reduce模型，对Hadoop、Spark、Storm等大规模数据存储与运算平台有实践经验；5、对于推荐系统和广告系统有实践经验者优先；6、能够积极创新， 乐于面对挑战， 负责敬业；7、优秀的团队合作精神；诚实， 勤奋， 严谨。
数据开发工程师
1. 参与阿里大数据开发平台建设，构建开放、安全、标准的阿里对外数据开发平台体系2. 基于阿里海量数据的数据仓库建设和数据分析，同时针对各业务场景探索大数据解决方案3. 在公共云计算环境构筑数据交换、融合、分享的生态，让数据驱动业务
岗位要求:1. 计算机或相关专业本科及以上学历2. 具有丰富的数据开发经验，对数据处理、数据建模、数据分析等有深刻认识和实战经验3. 熟悉SQL，有一定的SQL性能优化经验4. 熟练掌握Java语言，MapReduce编程，脚本语言Shell/Python/Perl之一5. 业务理解力强，对数据、新技术敏感，对云计算、大数据技术充满热情6. 积极乐观、诚信、有责任心；具备强烈的进取心、求知欲及团队合作精神
可以简单概括一下这三个职位的特点：
数据分析师业务线，负责通过数据分析手段发现和分析业务问题，为决策作支持。数据挖掘工程师
偏技术线，负责通过建立模型、算法、预测等提供一些通用的解决方案，当然也有针对某业务的。数据工程师
技术线，负责搭建仓库搭建、数据的存储、处理、计算处理、报表开发等。
从能力上看，可以认为：
从关系上看，数据分析师和数据挖掘工程师一般是可以相互替代的，在很多公司里，对这两个职位也是不加以区分的。
下图是国外对这几个职位的能力栈描述。图中蓝色圈为普通工程师能力栈，粉色圈为数据开发工程师能力栈，绿色圈为数据科学家能力栈。需要说明的是，国外并没有数据挖掘工程师这一说法，国内的数据挖掘工程师的能力栈和本图中绿色圈相当，而数据分析师的能力栈则正好和不于粉丝圈交叉的纯绿色区域相当。
定位和价值
正如我之前的《三三制：大数据企业如何打造一支打不烂、打不散的团队？》一文所述，上述这三个职位在大数据团队里分别是开发者、构建者和分析者的角色。他们是大数据团队里最核心的成员，这三个角色组合起来，可以覆盖大部分企业大数据项目需求。
在PPV课社区里经常有人会比较这几个职位，问题也是五花八门，随便拎几个出来大家感受一下：
针对上述问题在此我谈一下看法。首先，不同职位在不同行业、不同公司、不同阶段的贡献是不一样的。如同部队打仗一样，企业需要的也是团队配合，多部门协同作战，每个职位都有其独特价值，没有什么可比性。这就如同你比较一个公司的销售和研发人员谁价值更大一样，不实际也没有任何意义。
其次，大多数情况下，薪酬(指平均薪酬)只代表一个人在职场的价格，不代表他在公司的价值。找工作除了看薪酬也要看是否合适自己，职场中拼的都是相对优势，你要想获取高收入，应该扬长避短，寻找可以发挥自己优点的行业和职位，而不是寻找什么最有价值的工作。
目前市场上数据挖掘工程师的平均工资的确是要高于数据分析师的，原因是数据挖掘工程师写代码比较多，写代码越多，工资越高，这个在任何一个国家、任何一个行当都是如此，不代表数据挖掘工程师的价值更大（参见《2016年数据科学薪酬大盘点》一文）。
下图是国外这几个职位的薪酬对比：
数据来源：Datacamp
可以看出在国外薪资待遇排序是： 顶尖数据科学家 & 数据架构师 &数据工程师 &数据分析师。在国内，数据挖掘工程师的薪酬是略高于数据工程师的，其他排序和上图相同。
在此，PPV课也给出几个职位之间的晋升通道供大家参考：
手边书推荐
最后针对不同职位推荐几本手边书给大家，如果你对上述职位感兴趣，欢迎加入PPV课数据科学社区，和我们一起向着数据科学的梦想不断探索和前行！
数据挖掘工程师：
机器学习工程师：
数据分析师：
数据开发工程师：
版权声明：PPV课原创，转载需要申请授权。
PPV课大数据-关注大数据培训，国内领先的大数据学习社区
责任编辑：
声明：本文由入驻搜狐号的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。
90天脱产学习，全真项目实战，职业规划一对一辅导，签订就业服务协议！
数据分析&数据挖掘方向：300+课时，从零进阶，全栈能力，推荐就业！
今日搜狐热点【数据科学家/数据分析师是做什么的】星图数据2018年数据科学家/数据分析师岗位职责-看准网
数据科学家/数据分析师
星图数据 招聘
负责领域：通过算法，还原更细致更真实的消费生态；设计并完善大数据自动化市场研究分析体系及建模、数据挖掘理论流程及体系；维护与改进数据预测、Mapping与挖掘算法，以及其他创新业务算法的设计，开发和维护；协助相关Data Intelligence产品的设计、实现与优化，提升商业运作效率和人类活动效率；跟踪互联网领域相关的算法进展和发展趋势；期望素质： 对大数据有浓厚兴趣，相信算法能够改变人们的生活；热爱编程，探索钻研精神+快速学习能力+超强逻辑分析，乐于应对各种智力挑战；精通Java/C/Python中任意一种编程语言，熟悉Spark, Hadoop等分布式计算框架；有扎实的数据结构和算法功底，对机器学习有深入理解，熟练掌握各种分类/聚类等算法及相应优化，熟悉神经网络，遗传算法，模式识别、自然语言处理等算法的优先；计算机/数学/统计学/物理/生物等相关专业本科以上学历，博士或海外研究经验狂加分！熟悉海量数据处理和挖掘，在搜索、广告、推荐、数据挖掘或有高性能科学计算等方向有一年以上经验；
BOSS直聘是一款在全球范围内首创互联网&直聘&模式的在线招聘App，于日上线，致力于为职场Boss和求职者搭建高效沟通、信息对等的平台。BOSS直聘产品的核心是&直聊+精准匹配&，通过将在线聊天功能引入招聘场景，让应聘者和用人方直接沟通，跳过传统的冗长应聘环节，提升效率。同时，BOSS直聘应用前沿大数据技术，不断追求岗位与人才的多维度精准推荐与匹配，提升招聘效果。BOSS直聘率先在行业内开创了&MDD&模式，即移动 (Mobile)、Data (大数据驱动)和直聘 (Direcruit).BOSS直聘目前已成长为中国最大的移动互联网招聘平台。截至2017年4月底，BOSS直聘累计注册牛人1950万，注册Boss 403万，中国D轮前创业公司覆盖率达到80%以上，客户包括BAT等顶级互联网公司和明星独角兽公司。在其专长的TMT行业外，已经拓展至金融、传媒、快消、地产和教育培训等诸多热门行业。BOSS直聘以迅猛的成长速度和良好的服务品质获得了业界广泛认可，连续斩获大奖。并hgjhjkhjBOSS直聘迄今已完成五轮融资。2016年9月公布了最近一轮C1/C2轮融资，由华映资本和高榕资本领投，金额为2800万美元。BOSS直聘的老股东策源资本、顺为资本、和玉资本和今日资本全部跟投。
该公司其他工作机会
Duang~我要涨薪！
匿名填写收入情况，立刻获取涨薪20%的机会
免费发布职位/提升职位曝光
看准网(Kanzhun.com)为您免费提供星图数据相关信息，包括星图数据招聘、工资、面试、评价及员工、工作环境照片，以上信息均由星图数据员工匿名提交，看准网整理发布，所有星图数据相关内容均不代表看准网意见！
爆料数十万公司信息爆料
互助职场人在线互动
工资公司实际工资查看
改简历专人改简历提高工资
老鸟私聊求助能挣钱
输入手机号，下载看准APP
扫码下载看准APP或各大应用商店搜索：看准
获取职位最新招聘信息
一有该职位最新招聘信息马上通知您
Melvin正在直聘
星图数据·VP
我在boss直聘等你来沟通入职。
500万人安装扫一扫，下载APP
附件简历：
请上传简历！
附件简历：
爆料数十万公司信息爆料
互助职场人在线互动
工资公司实际工资查看
改简历专人改简历提高工资
老鸟私聊求助能挣钱
输入手机号，下载看准APP
扫码下载看准APP或各大应用商店搜索：看准他的最新文章
他的热门文章
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)