如何区分理解数据科学家与机器学习工程师
如何区分理解数据科学家与机器学习工程师
数据科学家Vs机器学习工程师原文: What are machine learning engineers?来源: https://tech.co/12-ways-advantage-big-data-2017-05品觉导读：真正让“数据科学”发挥出了强大威力的，是在人们意识到，数据不仅止于精算统计、商业智能和数据仓库的时候。将数据人和其他部门（软件开发、营销、管理、人力资源）隔离开来的筒仓被打破后，数据科学才真正彰显出了自己的独特之处。这门学科的中心思想，便是数据适用于万事万物。在任何应用中，严格属于“机器学习”的部分其实都不算大：总需要有人去维护服务器设施，监控数据收集管道，确保计算资源充足什么的。据我们所知，尚未出现过专门针对机器学习系统的严重攻击。但机器学习系统将成日渐成为诱人的攻击目标。机器学习会带来怎样的新型漏洞？有没有可能在训练系统用的数据中“下毒”，或者强迫系统在错误的时候接受重新训练？由于机器学习系统会自我训练，我们需要想到，全新漏洞类型的出现必不可免。原文翻译：十年来，我们一直在谈论数据科学和数据科学家。虽然在怎么才叫“数据科学家”的问题上始终存在着争议，但如今已有很多大学、网校和训练营都在提供数据科学课程：硕士学位、资格证书等等，凡是你能想到的都有。当我们只有统计学的时候，这个世界显得更加简单，但简单并不总是科学的。而除了世界对数据科学家的需求程度以外，数据科学课程如此多种多样，其实也说明不了什么。随着数据科学领域的发展，出现了很多难以区分的专业。公司用“数据科学家”和“数据科学团队”来描述各种各样的角色，包括：进行专门分析与报告（包括商业智能和商业分析）的人负责统计分析和建模（很多情况下会涉及到正式的实验和测试）的人越来越多地使用笔记本电脑来开发原型的机器学习建模师这当中并没有提及DJ帕提尔（DJ Patil）和杰夫哈默巴赫（Jeff Hammerbacher）在发明“数据科学家”这个称谓时所想到的人――依据数据打造产品的人。他们所想的这种数据科学家倒是跟机器学习建模师最为接近，只不过他们的工作是打造产品――一切以产品为中心，而不是秉持着研究人员的身份。他们的工作通常涉及到数据产品的很大一部分。无论具体的职务为何，数据科学家的角色绝非单纯的统计学家。他们往往拥有理科博士学位，在处理大量数据方面拥有丰富的实践经验。他们基本上都是优秀的程序员，绝非只是精通R或其他某种统计软件包。他们懂得数据获取、数据清洗、原型开发、原型投产、产品设计、搭建和管理数据设施等等。在实践中，他们是典型的硅谷“独角兽”：稀有，非常难招到。重点并不是我们设立了边界明确的专业。在一个欣欣向荣的领域里，总会存在着十分广袤的灰色地带。真正让“数据科学”发挥出了强大威力的，是在人们意识到，数据不仅止于精算统计、商业智能和数据仓库的时候。将数据人和其他部门（软件开发、营销、管理、人力资源）隔离开来的筒仓被打破后，数据科学才真正彰显出了自己的独特之处。这门学科的中心思想，便是数据适用于万事万物。数据科学家的使命就是收集和利用所有的数据。所有部门都会牵涉其中。当我们找不着独角兽的时候，就把他们的能力分解成不同的专业，而数据科学在开始盛行起来后，也遭遇了这一出。突然之间，我们就有了数据工程师。数据工程师并非以数学家或统计学家为主要身份，但他们都懂数学和统计学；他们的主要身份也不是软件开发人员，但他们也懂软件。数据工程师负责数据堆栈的操作和维护。他们能让笔记本电脑上运行的原型在生产中可靠运行。他们负责弄清楚如何搭建和维护Hadoop或Spark集群，还有整个生态系统中的很多其他工具：数据库（比如Hbase、Cassandra），流数据平台（Kafka、SparkStreaming、Apache Flink），还有更多的活动部件[princeray1] 。他们知道如何在云端操作，充分利用Amazon Web Services、MicrosoftAzure和Google Compute Engine的性能。如今，我们已经进入了“数据科学”的第二个十年，机器学习已大行其道，于是“数据工程师”的定义也变得更加明确。2015年，谷歌发表了一篇后来得到广泛引用的论文，里面凸显了一项事实：除了分析模型以外，现实世界中的机器学习系统还有很多其他构成要素。企业开始注重打造数据产品，并将他们一直以来所采用的技术运用到生产中。在任何应用中，严格属于“机器学习”的部分其实都不算大：总需要有人去维护服务器设施，监控数据收集管道，确保计算资源充足什么的。于是，开始有越来越多的企业建立机器学习工程师队伍。这其实算不上一个新的专业领域，随着机器学习（尤其是深度学习）在数据科学圈子里变得炙手可热，数据工程师必然会有进一步的发展空间。但是机器学习工程师和数据工程师之间的区别到底是什么呢？从某种程度上来说，机器学习工程师所做的正是一直以来软件工程师（和优秀数据工程师）的工作。以下是机器学习工程师的几个重要特征：他们拥有比常见的数据科学家更厉害的软件工程技能。机器学习工程师能够和维护产品系统的工程师协同工作（有时就在同一个团队）。他们懂得软件开发方法、敏捷实践和现代软件开发人员使用的全套工具，从Eclipse和IntelliJ这样的集成开发环境，到持续部署流水线的各个环节，他们样样精通。由于他们的焦点放在能让数据产品顺利投产上，他们会进行全面思考，甚至将日志记录、AB测试设施等环节也一并考虑进来。他们对在生产活动中监控数据产品所特有的问题有着最新的认识。监控应用程序的办法有很多，但机器学习让这个任务的要求上升到了一个新的层面。数据管道和模型都有可能过时，需要重新训练，也可能遭到对手采用并不适用于传统网络应用的方式大肆攻击。机器学习系统会不会因为提供输入的数据管道被黑而失真？会，所以机器学习工程师必须知道可如何探测到这些攻击。深度学习的兴起催生出一种与其相关但更加专门化的岗位――深度学习工程师。我们还看到了“数据运维团队”的出现，但在如何定义这类团队的问题上，（截至目前）人们似乎仍未达成共识。机器学习工程师的工作涉及到软件架构和设计。他们懂得AB测试这样的实务操作，但更重要的是，他们不只是“懂得”AB测试――他们还知道如何进行生产系统的AB测试。他们也懂得日志、安全这一类的问题，而且知道如何让日志数据在数据工程师那里派上用场。所有这一切没有什么新鲜东西：这只是岗位的深化，而不是改变。机器学习和“数据科学”又有什么不同？显然，数据科学的涵盖面更广，但深度学习的工作方式却存在着一些格外不同的地方。人们总是容易把数据科学家想象成挖掘数据的人――研究不同的方法和模型，从中找出一个切实可行的。图基（Tukey）的探索性数据分析等经典方法为很多数据科学家迄今为止的工作定下了基调：挖掘分析大量数据，找到其中隐藏的价值。深度学习显著改变了这种模式。你不再亲自处理数据。你知道你想要什么样的结果，但你让软件去发现它。你想要打造一台能够打败围棋冠军、正确标记照片或者实现语言翻译的机器。在机器学习的范畴中，这些目标不会通过细致的挖掘来达成。在很多情况下，要挖掘的数据量实在太大，维度也太多。（围棋的维度有多少？语言的维度呢？）机器学习能做到的，就是自己建立模型――自己进行数据挖掘和调整。于是，数据科学家并没有做多少挖掘的工作。他们的目标并非找到数据的意义。他们认为价值本来就在那里。他们真正的目标是打造能够分析数据和生成结果的机器――创建出一张可以被调教到能使用输入数据生成可靠结果的神经网络。统计学不再那么重要。事实上，机器学习的大神器是“大众化”，让机器学习系统可由主题专家而不是人工智能博士打造。我们想让围棋选手打造出下一代的AlphaGo，而不是研究人员。我们想让说西班牙语的人打造出能把其他语言自动翻译成西班牙语的引擎。这种变化也对机器学习工程师产生了相应的影响。在机器学习的范畴里，模型不是静态的。随着时间的推移，模型可能会逐渐失效。必须有人来监控系统，在必要时对其重新训练。这项工作对于当初打造该系统的开发人员来说，可能很是无趣，但当中的技术性却很强。而且，这也需要对监控工具有充分了解，因为这些监控工具在设计时并不会考虑到数据应用的问题。所有的软件开发人员和IT从业人员都应该对安全性这个问题有所了解。据我们所知，尚未出现过专门针对机器学习系统的严重攻击。但机器学习系统将成日渐成为诱人的攻击目标。机器学习会带来怎样的新型漏洞？有没有可能在训练系统用的数据中“下毒”，或者强迫系统在错误的时候接受重新训练？由于机器学习系统会自我训练，我们需要想到，全新漏洞类型的出现必不可免。随着工具的改进，我们将看到更多的数据科学家有能力转型到生产系统领域。云环境和软件即服务（SaaS）让数据科学家能够更简单地部署数据科学原型，将其投入生产，而诸如Clipper、Ground（美国加州大学伯克利分校RISE实验室的新项目）这样的开源工具也正开始涌现。但我们仍将需要数据工程师和机器学习工程师――那些通晓数据科学和机器学习知识，知道如何在生产中部署和运行系统，能够为机器学习产品提供支持的工程师。他们才是最终极的“人性因素”。（这里的moving parts我也不是很确定到底指什么）关联阅读：干货 ：数据科学十大技能END本次转自：品觉 微信公众号（）;车品觉简介畅销书《决战大数据》作者 ；国信优易数据研究院院长；红杉 资本中国基金专家合伙人；浙江大学管理学院客席教授；全国信标委员；数据标准工作组副组长；美丽心灵基金会桑珠利民基金副主席。原阿里巴巴集团副总裁，首任阿里数据委员会会长 ； 现担任中国信息协会大数据分会副会长、中国计算机学会大数据专家委员会副主任、粤港信息化专家委员、中国计算数学学会第九届理事、清华大学教育指导委员（大数据项目）、浙江大学管理学院客席教授等职。版权声明：本号内容部分来自互联网，转载请注明原文链接和作者，如有侵权或出处有误请和我们联系。本系列原创文章：1：从0开始搭建自己的数据运营指标体系（概括篇）2 ：从0开始搭建自己的数据运营指标体系（定位篇）3 ：从0开始搭建自己的数据运营体系（业务理解篇）4 ：数据指标的构建流程与逻辑5：从数据指标到数据运营指标体系数据运营
关联文章阅读：运营入门，从0到1搭建数据分析知识体系推荐 ：数据分析师与运营协作的9个好习惯干货 ：手把手教你搭建数据化用户运营体系如何提高图表设计与制作技巧如何掌握数据化运营的思维方式推荐 ：最用心的运营数据指标解读干货 : 如何构建数据运营指标体系从零开始，构建数据化运营体系干货 ：解读产品、运营和数据三个基友关系干货 ：从0到1搭建数据运营体系数据分析、数据产品
关联文章阅读：干货 ：数据分析团队的搭建和思考数据分析师必需具备的10种分析思维。如何构建大数据层级体系，看这一文章就够了干货 ： 聚焦于用户行为分析的数据产品80%的运营注定了打杂？因为你没有搭建出一套有效的用户运营体系从底层到应用，那些数据人的必备技能读懂用户运营体系：用户分层和分群做运营必须掌握的数据分析思维，你还敢说不会做数据分析商务合作｜约稿 请加qq： 更多相关知识请回复：“ 月光宝盒 ”；数据分析（ID :
ecshujufenxi
）互联网科技与数据圈自己的微信，也是WeMedia自媒体联盟成员之一，WeMedia联盟覆盖5000万人群。
本文仅代表作者观点，不代表百度立场。系作者授权百家号发表，未经许可不得转载。
百家号 最近更新：
简介: 关注互联网科技，专注数据分析
作者最新文章2017全球软件大会 邦盛科技亮出反欺诈黑科技
四月，南京梅花山的梅花刚落，鸡鸣寺的樱花相继绽放。21、22日，第三届NJSD 2017全球软件大会在南京国际博览会议中心盛大开幕。来自全球的架构师、工程总监、高级开发人员齐聚六朝古都，以“技术赋予我们无限可能”为主题，共同探讨了未来软件开发方向。邦盛科技作为金融实时风控领军者，机器学习事业部总经理孙斌杰以“基于机器学习的金融反欺诈”为题做了精彩演讲，赢得现场掌声不断。
欺诈一直以来都是金融行业的主要风险之一，对躲在手机背后的客户，金融风控体系已愈发难以通过传统风控手段去判断，金融企业经过多年历史数据沉淀，拥有大量历史违约和欺诈数据，是反欺诈的重点聚焦领域，但由于缺乏有效的科技手段，仅依靠传统规则的经验式反欺诈模型已无法应对日益演进的欺诈模式和欺诈技术。
机器学习成大数据价值变现重要工具
现代社会是一个信息数据极度膨胀的社会，大量的数据给了我们全面衡量风险的机会。在基于海量数据的大数据风控时代下，常伴随着高纬度稀疏性等特点，需要有先进的技术手段来推进，通过机器学习去解决传统方法无法解决的问题，成了大数据价值变现的重要工具。
随着新金融的发展，金融企业业务由原来以单一业务为主的经营结构迅速向多元化经营的方向发展，与此同时，在运营、管理、决策成本及潜在风险等方面短板显现，目前行业的一些市场“佼佼者”已经使用邦盛机器学习系统，采用机器学习技术进行反欺诈，邦盛机器学习系统产生的机器学习模型，可以和传统规则相结合，帮助金融企业大幅度提升风险识别效果、降低风控运营成本、降低资损、提升用户体验、预防新型风险，欺诈分子们在机器学习模型和规则编制的防控网络下已寸步难移、无所遁形。
丰富算法模型研发经验
作为金融实时风控行业领军者，邦盛科技一直致力于领先国际的风控技术研发，邦盛的机器学习系统就是其研发的新型侦测反欺诈武器。传统的规则对专家的依赖性较强，邦盛科技的机器学习系统可以支持十余种算法，针对不同风控场景使用最优算法。
对机器学习模型效果来说，很大程度上取决于数据挖掘工程师的建模能力，如果使用错误的“训练姿势”，就无法训练出稳定性强、效果好的模型。邦盛科技拥有强大的机器学习建模团队，包括国际知名的机器学习专家，在金融风控场景中，已经为的大量公司带来了巨大的经济效益。
更值得一提的是，邦盛科技已经为包括平安银行、兴业银行、浙商银行、银联商务、拉卡拉、通联支付、宁波银行、江苏银行等在内的大型金融公司提供了反欺诈、信贷业务服务，并在实践中积累了大量的风控业务经验，这些业务经验可以帮助建模团队训练出更加优质的金融风控机器学习模型。
极速预测与训练
目前国内外许多机器学习工具在性能上都存在着较大的瓶颈，导致这些工具无法应用在实时风险监控领域。在实时风控领域，为了尽量减少对生产业务系统带来的影响，通常要求风险监控的耗时在100ms以内，单机吞吐量能达到3000TPS，邦盛科技的机器学习团队基于大数据实时处理平台“流立方”研发出一套支持极速计算的算法类库，邦盛的机器学习产品多模型预测性能可以达到单机3000+TPS，且可以保证99.9%的预测请求在100ms内返回。这一模型训练速度可以达到一般机器学习工具的几十倍。
另外，与市面上其他的产品相比，邦盛科技的机器学习系统并非一个黑盒子系统，而是会把机器学习算法的底层实现原理分享给客户，便于客户更好的理解、使用产品，拥有主导权，甚至在大部分的情况下可以自主解决问题。
人类的进步始于梦想，技术则赋予无限可能。NJSD大会自首届开幕后，从区域性走向了全国性，再到本次定位于全球性大会，完成了她的快速迭代。在金融风控领域，邦盛科技的技术发展亦是与NJSD的发展不谋而和，不断突破瓶颈、敢于打破传统、持续创新产品，用超乎时代想象的技术魅力和技术精神引领着金融实时风控行业的前进。
责任编辑：
声明：本文由入驻搜狐号的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。机器学习10大经典算法_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
机器学习10大经典算法
上传于|0|0|暂无简介
阅读已结束，如果下载本文需要使用2下载券
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，查找使用更方便
还剩2页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢您的位置： &
机器学习方法及其技术应用
优质期刊推荐