湾区面向phd和postdoc的insight data science program具体是做什么的，有什么特点？
这个program号称将phd和industry data science job联系起来，通过6周的intense project training，直接让你和硅谷的工资面试洽谈就业。&br&我很好奇这个项目的具体内容和效果如何。&br&本项目的具体介绍如下：&br&&a href=&///?target=http%3A//& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Insight Data Science Fellows Program&i class=&icon-external&&&/i&&/a&&br&&br&&p&1. 6 week, full-time, postdoctoral data science training fellowship in
&/p&&br&&p&2. Full tuition scholarship for all Fellows. Silicon Valley or New York City.&/p&&br&&p&3. Self-directed, project-based learning (no classes!) under the
guidance of top industry data scientists.
&/p&&br&&p&4. A group of smart people who are excited about working on
interesting problems while having a positive impact.
&/p&&br&&p&5. Interview at top companies immediately following the program. &/p&&br&&p&参与公司如下：&/p&&img src=&/9840b4adcfcd0ebb671e_b.jpg& data-rawwidth=&1260& data-rawheight=&1224& class=&origin_image zh-lightbox-thumb& width=&1260& data-original=&/9840b4adcfcd0ebb671e_r.jpg&&&br&&p&其中的fellow项目提供全额学费。相当于是免费让你去接受training。根据其白皮书的描述，你training结束后，将必须和硅谷的上述公司面试，选择就业。而且你必须选择data scientist 作为就业目标。&/p&&br&&br&项目细节如下：&br&&br&&p&1. Software Engineering Best Practices: Learn how to contribute to a
large code-base and instrument a web application to collect data. Tools you
may learn: Python, Git, Flask, Javascript.
&/p&&p&2. Storing and Retrieving Data: How to clean data, store it in the
appropriate database or distributed data storage system and then run queries
to retrieve the information needed for analysis. Tools you may learn:
MySQL, Hadoop, Hive.
&/p&&p&3. Statistical Analysis & Machine Learning: Learn industry best
practices for doing basic and advanced statistical analysis on large data sets.
Tools you may learn: NumPy & SciPy, Pandas, scikit-learn, R.
&/p&&p&4. Visualizing and Communicating Results: Learn how to effectively
communicate your findings visually and verbally. Tools you may learn: D3
Javascript library, visualization and presentation best practices.&/p&&br&&p&面试流程如下：&/p&&br&&p&Interviews Starting in week 7, you will begin the interview process with
the companies that have reached out to you as a result of your Insight project
presentations in the previous week. Most Fellows interview with anywhere from
4-8 companies. While the interview process starts immediately following the end
of week 6 of Insight, it usually continues for another several weeks, with most
Fellows receiving offers 3-5 weeks after the final day of Insight. When all is said
and done, you will most likely have an accepted job offer and a convenient start
date arranged at your new job as a data scientist.&/p&&br&&p&就业结果如下：&/p&&p&There are now 70 Insight
Fellows working as data scientists and engineers. 100% of Fellows who
completed the job search found work in a data-related role within 3-4 months of
completing the program, with 85-90% getting one or more offers from Insight
mentor companies in the 3-5 weeks immediately following the program.&/p&&br&&p&历届fellow如下：&/p&&br&&p&&a href=&///?target=http%3A///fellows.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Insight Data Science Fellows Program&i class=&icon-external&&&/i&&/a&&/p&&br&&br&data science不是说学就学吧，必须需要一定的数学基础的说啊&br&怎么说也要一定程序基础的说啊&br&莫非他们培养的就是data science 码农么。
这个program号称将phd和industry data science job联系起来，通过6周的intense project training，直接让你和硅谷的工资面试洽谈就业。我很好奇这个项目的具体内容和效果如何。本项目的具体介绍如下：1. 6 week, full-time, postdoctoral data science training fellowship in
2. Full tuition scholarship for all Fellows. Silicon Valley or New York City.3. Self-directed, project-based learning (no classes!) under the
guidance of top industry data scientists.
4. A group of smart people who are excited about working on
interesting problems while having a positive impact.
5. Interview at top companies immediately following the program. 参与公司如下：…
我就随便点了十几个人，除了一个vt一个ubc的外，其他的都是stanford，berkeley，mit，harvard的。。。妈妈，我站不起来了！
linkedin 上看到他们家的fellow大部分都是物理或计算生化的phd，所以data science要求的数学，编程什么的应该对这些人不算什么～ 这个说白了就是个培训加中介，面向对象是那些符合标准想要做data science的理工博士，通过短期培训来培养符合业界要求的数据工作者。 想法还是挺好的，本来苦逼数理博士毕业想跳坑的就很多，以前都要靠自己摸索去转行，这下好了有个靠谱点的培训机构，还能分配工作，认识同道基友，何乐而不为？
作为参加过这个项目的Data Science Fellow, 说一下自己的感受：dr: Insight是一个很不错的项目，有志于做DS的非CS和统计的PHD，时间和精力允许的话，推荐申请。 首先，Insight的DS fellows大部分都是非CS和统计的PhD（因为这两个专业找DS, DE相关的工作本身很合适）。项目的目标是帮助想要做DS的理工科PhD顺利地转行。Insight招收的标准是本身已经有做一个DS 90%的技能树*，而Insight帮你完成剩下的10%。这些技能包括但不限于:Analytical的思维模式和critical thinking的能力数理基础：线性代数，概率论，统计，high level的machine learning知识 基本工具的使用：Python (R), SQL等那么，这10%是什么呢？就是实际从头到尾完成一个数据相关的project的经验。这个project不一定很复杂，有点像MVP（minimal viable product）。然而，通过三到四周的时间建立这样一个MVP，可以完整地锻炼数据获得（已有的dataset或者web scrapping），数据清理，统计分析，数据建模和数据产品（自己build一个web app去展示自己的结果）。Insight项目总共七到十周。前四周主要是做这样一个project，同时有很多公司来宣讲自己的DS组具体都是做什么。第五周到第六周是去自己心仪的公司做project的demo。第七周以后是准备这些公司的面试。作为一个非CS和统计的PHD, 我觉得Insight对我的帮助还是挺大的，主要是在以下几个方面：短期内高强度地做一个自己的project。Insight还是挺intense的，但是成长也是很大的。通过三四周的时间看着自己的想法一步步变成最后的产品，还是挺有意思的。同时，从学术到工业的一些思维的转变也得到一定程度的锻炼，譬如所谓的fast iteration，ROI，80% rule等等。前几周每天都有湾区顶尖的公司来宣讲他们的数据组的情况，可以更快更全面了解整个行业和自己的兴趣，而不仅仅是停留在big name。人脉。现在已经有越来越多的Insight fellow在湾区的tech公司做ds，de，大家也都很热心地帮助其他人，整个项目的文化奠基地还是挺好的。在Insight的几周强度很大，但是收获更多。这里从项目的director到每一个fellow都非常nice。虽然Insight的business model是从公司收取类似referral fee的佣金，但是能感觉到每一个人都是在真心诚意地帮助你。我觉得没有大家一起努力和相互帮助，我自己可能需要几个月的时间才能完成在这里几周完成的东西。和fellows们一起奋斗的每一个白天和夜晚，都是值得纪念的。* 关于技能树：DS这个职位的谱很广。同样叫DS，做的事情可能完全不同。有的公司专注于产品和市场分析，有的公司专注于coding和implementation，有的专注于machine learning和其他算法的研究。因此，DS的技能树很广。但是每一个技能的精深都不是一两天能获得的，譬如machine learning，作为一个非相关研究的PHD，就不可能短时间自学精通每个算法。毕竟学习是一辈子的事情，转行成功不是一个结束，而只是一个开始。
这个项目用处非常小，就像另外一个答案中说的，它本质上只是个中介。但大部分fellow都是名校phd，都有学校自己的career fair，所以这个项目的招聘会并没有多大意义。宣传上看像是培训项目，但参加过选拔的已经知道，申请这个项目的测试就已经是考察data science各方面的能力了（数据处理和分析，cloud service的使用），以及还要求一个project proposal。我个人觉得能通过测试的人完全没有必要参加这个项目。看项目培训的内容也都是自学能快就能掌握的。
已有帐号？
无法登录？
社交帐号登录查看更多精彩文章
查看所有活动
发现身边精彩
赛门铁克新推文件资源管理产品Data Insight
[原创] .cn
[导读]赛门铁克已经开发出一款专业文件资源管理产品来帮助用户清除不断增长的非结构化文件数据中的非活跃文件和孤立文件。
DOSTOR存储在线12月16日国际报道：赛门铁克已经开发出一款专业文件资源管理产品来帮助用户清除不断增长的非结构化文件数据中的非活跃文件和孤立文件。赛门铁克产品营销主管Dan Lamorena引述市场研究机构Gartner的统计数据称，企业组织在未来5年内的数据增长将达到800%，其中有80%新增长的数据为非结构化数据。仅仅是将所有新增数据存储起来是没用的，而是需要将新数据与旧数据放在一起管理，同时还要将基础数据从主存储转移到成本相对低廉的近线存储或归档存储，并将无效数据如非授权MP3和孤立文件与文件夹等删除。用户应当还可以计算它们消耗的存储资源，以鼓励用户承担责任和勤俭节约。要想做到这一点，用户就必须监控和管理存储设备中的文件和文件夹数据，从中提取出数据使用和活动的统计数据。这就是赛门铁克新推出的Data Insight for Storage product的作用。由于文件和文件夹数量巨大，基本不可能手工完成，因此这项任务是通过上述工具自动完成的。Data Insight可以识别出已经离开的历史用户所遗留下来的孤立数据、文件和文件夹。它会周期性报告所有文件和文件夹的活跃度水平，然后按用户、部门和业务部统计出文件存储资源的消费情况，为chargeback计划提供原始数据。例如，它可以识别和对比用户留下的非活跃数据。然后将旧文件和非活跃数据迁移到成本相对低廉的存储级设备，将不再需要的数据删除以释放存储空间。 这款产品还可以跟踪文件存储容量的变化趋势，赛门铁克称，它还可以指导用户作出明智的磁盘容量购买决定。这款工具可以生成图表和表格形式的统计结果，所有统计结果数据也可以输出到Excel中。Lamorena表示，赛门铁克将在明年秋季将这款产品与Enterprise Vault整合在一起，以便用户将合适的数据归档。届时，Storage Foundation和自动分级功能也将被整合进去。Data Insight还将被整合到赛门铁克的CommandCentral存储资源管理（SRM）产品之中。赛门铁克将把它所有的SRM功能都整合称一组可在同一个界面执行的功能。这也将在2011年的某个时间实现。DLP和华为赛门铁克昨日，赛门铁克宣布推出第11版Data Loss Prevention（DLP）产品，除了利用现有的数据描述（关键字列表）和指纹（独立文件ID分配）技术之外，该产品还可以利用Vector Learning技术来识别敏感数据。赛门铁克声称：&Vector Machine Learning可以利用样本文档来识别精确的特征值，然后识别出敏感数据与非敏感数据之间的细微差异。这样就不用象以前那样去制定关键字政策或为新文档建立指纹了。&DLP 11将于Data Insight整合在一起，识别出数据存储风险最高的位置，然后自动通知相关数据拥有者。华为与赛门铁克合资创立的华为-赛门铁克在另一份报告中指出，它已经与SYNNEX签订了一份北美地区经销协议，后者的转售商将可以在美国和加拿大销售华为-赛门铁克的存储和网络安全产品如Oceanspace。它希望这项协议可以提振自己的业务。赛门铁克的Data Insight for Storage现已上市销售，起步价为每TB数据676美元。
作者的更多文章
微信公众平台：搜索"doitmedia"
或扫描下面的二维码：
Copyright (C) 2013 DOIT Media, All rights Reserved. 北京楚科信息技术有限公司 版权所有.
电信与信息服务业经营许可证：030972号 电信业务审批 [2009]字第572号
京ICP备号-3
京公网安备:主数据管理(Master Data Management)基础 - 推酷
主数据管理(Master Data Management)基础
主数据管理(Master Data Management)基础
什么是Master Data(主数据)?
无论是银行、零售商或者政府机构，一个机构内部总有一组核心的数据，各种应用均会使用。 此类数据我们便称为“Master Data（主数据）”。Master Data 代表着核心商业对象，商业事务会围绕着这些对象开展。常见的例子有：customer（客户）、employee（员工）、supplier（供应商）、product（产品）、location（地址）和contract（合同）。哪些种类的信息会视为masterdata，不同行业和不同机构间会存在诸多差异。
可以问一简单的问题来确定某类数据是否可以作为MasterData：这类数据将会有超过一个以上的transactionalapplication(事务型应用)使用吗？如果是，便可以作为Master Data。
什么是MDM(Master Data Management)?
在理想世界里，一个机构仅有一地存储和管理MasterData。这那里MasterData是精确和一致的，被安全且条理地维护着。所有更新只会针对此单一的MasterData。所有使用MasterData的用户只和这个权威的信息源交互。
MDM就是实现这个理想世界的过程和技术框架，它创建和维护一个权威的、可靠的、可持续的、精确的、安全的数据环境，形成一个一致的MasterData视图。
在IT领域内有一股实施MDM的驱动力。通常情况下，应用程序是为支持某个业务领域的运营过程而设计的，它们拥有自己的信息技术设施，包括与应用相关的数据存储和定义。结果是：信息共享越多，我们越是发现多年来横跨业务线的分布式计算和应用已经形成了“信息孤岛”。 当依赖应用的Master Data的拷贝数量不断增加时，通过点对点连接方式同步数据会变得很复杂，整个环境也变得很难维护。与此同时，很难控制信息的一致性和数据的质量了。
为了解决上述问题，我们需要为机构的信息集成、管理和共享提供一个系统化的解决方案。MDM便是方案之一。
像其他重要的IT趋势，MDM对生产率改善、风险管理、成本降低等方面均有显著的好处。更加准确得讲，MDM通过支持依赖以下益处的业务项目来证明自己的价值：
(下面的文本来自DavidLoshin的著作, Master Data Management, by [Lobshin09])
1.&&&&&&全面的客户知识
内部开发各种应用系统经常会采用不同的方式支持相同类型的客户数据功能。例如某银行可能有多种客户接触界面：支行、ATM、MAIL、Internet、电话和短信。其中的任意一个应用均会创建、更新和停用客户信息。但是在一个相互不协作的环境下，应用就无法知道准确全面的客户信息，包括：唯一客户的数量、客户与银行交互的喜好、客户是如何尝试不同的途径来完成交易的。单一的MasterData存储为所有客户的活动数据提供了单一的来源，采用统一的方式支持各种运营和分析应用。 如果一个企业拥有了完整一致的客户视图，便能提供更加丰富的个性化服务和恰当的处置。这样便能产生更好的客户体验，降低客户流失率。
2.&&&&&&增强竞争力
在资源有限的情况下，企业需要快速产生新的业务能力，迅速抓住新的商业机会。MDM降低了集成新数据和系统的复杂性，因此能有利于提高企业的敏捷性和竞争力。
3.&&&&&&改进运营效率，降低成本
复制相同的数据经常带动复制相关的管理数据的活动，包括：典型的日常数据管理工作（备份和维护）、增加设施的license成本（比如RDBMS, ETL产品的license和维护成本），特定的应用工具和服务。统一的数据视图能让企业降低重复出现的运营成本和任务。
4.&&&&&&一致的报表
报表间的不一致源自信息处理流程的治理缺乏和各环节上有差异的复制和复杂转换。受治理的使用MasterData的信息处理过程能降低报表间的不一致。
5.&&&&&&提高信息质量
由标准化模型、数值域(valuedomain)和商业规则等组成的元数据能帮助企业更加有效地监控跨越多个垂直应用的信息质量控制情况，降低信息的碎块化和重复劳动。
6.&&&&&&提高实施速度
MDM提供了信息资产的标准化视图，这减少了抽取和转换数据的延迟， 加速了各种项目的实施进度：应用迁移、系统升级、数据仓库(datawarehouse)/数据集市(datamart)。
7.&&&&&&简化应用系统开发
MDM的合并工作不仅仅限制在数据领域。当多个MasterData Object合并到一个主存储(MasterRepository)时,就会有可能合并与数据的生命周期相关的应用系统的功能。例如，一个企业中可能会有多个系统负责录入新产品数据到不同的产品数据库，可以把这些产品管理功能合并，提供单一创建新产品功能服务，让不同的应用调用。引入类似的数据服务层为SOA构架提供了必要的抽象。
8.&&&&&&更好的费用分析和规划
与产品和供应商等相关的MasterData 能够帮助企业改进以下工作：采购工作、协调竞争性的外包(competitivesourcing)、预测未来的费用、改进供应商管理 等等。
PIM, CDI 和 Multi-Domain MDM
如果MDM只关注在产品或者服务的定义和生命周期，此类MDM也成为PIM(ProductInformation Management)。
如果MDM只关注在管理客户相关的信息，此类MDM也经常被称为CDI(CustomerData Integration)。实际上CDI并不局限在客户信息这个范畴，“客户customer”一词已经演变为泛指相关的人和机构，统称“party”。
如果MDM局限在某个一个domain(主题域)，比如PIM和CDI，称为single-domain的MDM。如果MDM要涉及多个domain，此类MDM称为 multi-domain MDM。
从信息集成的角度看，multi-domainMDM是需要全面信息集成的公司的最终选择，因为会覆盖到多个种类(domain)的Master Data。Single-domain方案最终会演变成multi-domain，因为其他的主题域的数据会逐渐加入进来。
什么是MDM系统?
下文主要总结自 [Dreibelbis+08].
MDM系统是MDM的技术基础。不同系统会管理不同各种类型的Master Data，而且MDM系统的实现和使用方式会有很变化。此节我们描述MDM解决方案的三个主要维度，如图1显示：
图1 MDM的维度
Master Data 类型(Domains)
不同的行业和不同的机构均可能有不同类型的MasterData。 一个MDM系统应支持一个或者多个Domain的Master Data。这些Domain应该是通用的，与行业无关，可以被裁剪或者映射到不同的行业标准或者模型。在设计和实现MDM的时候，这些Domain的定义也能被进一步定制和扩展。
Methods of Use(使用方式)
有三类关键的使用方法(模式)：CollaborativeAuthoring(协同型),Operational（操作型）和Analytical（分析型）。MDM实施初期可能会采用一个最能满足商业需求的使用模式，然后逐渐扩展到其他使用模式。
Collaborative MDM(协同型MDM)
在协同模式中，MDM系统协调一组用户和系统，对Master Data 达成一致。由于产品开发和管理的复杂性，PIM系统通常会支持此类使用方式。也许最常见的一个PIM过程便是引入一个新产品。一个简化的新产品的引入流程如图2显示。
图2 简化的新产品引入流程
协同模式要求MDM具备一组核心的功能，包括：工作流，任务管理和状态管理等。
Operational MDM(操作型MDM)
在操作型模式中，MDM参与日常的操作事务和商业流程，与其他应用系统和人员直接交互。
操作型MDM关注如何在提供高性能的无状态服务。这些无状态服务能被业务流程调用，或者直接被应用系统和用户界面调用。操作性MDM的服务经常会被设计成既能支持SOA 也能支持传统环境。此类MDM与现有系统的集成需要各种类型的通讯风格和协议，包括同步和异步的，也包括全局事务(globaltransaction)和单向通讯等等。
Analytical MDM(分析型MDM)
在分析型模式中，MDM系统是下游分析型系统的权威信息来源，很多时候MDM系统自己也会产生分析结果。
分析型MDM是Business Intelligence (BI) 和 MDM的交集。此处的BI是指一个宽泛的领域，包括了商业报表、数据仓库、数据集市、数据挖掘等。无一例外的，所有形式的BI均需要有意义的可信赖的数据。
MDM 和BI有三个主要的交集：
1.&&&&&&MDM作为一可信赖的数据源：MDM的关键角色是为BI系统提供干净的一致的数据。
2.&&&&&&MDM Data分析：MDM自己会集成报表和分析功能，提供Master Data的分析结果。
3.&&&&&&MDM系统提供关键性的特定类型的分析：例如identityresolution(身份识别)可能成为某些MDM系统的关键特性。
MDM Implementation Styles(实现风格)
此节，我们介绍4类实现风格：
1.Consolidation Implementation Style(合并风格)
2. Registry Implementation Style(登记风格)
3. Coexistence Implementation Style(共存风格)
4. Transactional Hub Implementation Style(事务HUB风格)
从 Consolidation Implementation Style 到 Transactional Hub Implementation Style，功能逐渐增加，部署的复杂性也逐渐增加。不同的实现风格之间是互补和可叠加的。
下面图片显示了本节使用的图形标记的意义：
Consolidation Implementation Style(合并风格)
如图3显示，此实现风格把现存系统（包括数据库和应用）的Master Data合并到一个单一的受管理的MDM hub。在这过程中，数据被转换、清理、匹配和集成，形成完整的goldenrecord（黄金记录）。这个goldenrecord 为下游系统的报表和分析工作提供可信赖的数据来源，或者作为其他操作性应用的参照数据。MDM系统是一个只读的系统，数据改变主要来自源系统。
图3 Consolidation Implementation Style（合并风格）
这是一个为分析型应用提供有价值数据的解决方案，自然和简单。但是，也存在明显的缺点：
1.&&&&&&MDM系统不包含最新的信息。
2.&&&&&&缺乏弹性。不能加入额外的信息，除非根据需求修改现有的应用。
Registry Implementation Style(登记风格)
此实现风格假设源系统能够管理好自己数据的质量。如图4显示，MDM系统只管理最小量的信息，用来唯一标识MasterData，并提供在其他系统和数据库中详细数据的引用。
查询此类MDM系统需分两步动态装配信息。首先，在MDM系统中找到需要的信息，然后用获得的identity和引用信息，从源系统中提取详细信息。
图4 Registry Implementation Style(登记风格)
此实现风格有以下优点：
1.&&&&&&实施快
2.&&&&&&能提供实时信息
3.&&&&&&适用于某些复杂的环境：如果一团体不能提供所有的数据，这个风格就特别有用。
在实施前必须考虑以下问题：
1.&&&&&&除了基本的identity，不能解决数据质量问题。
2.&&&&&&对现有系统的性能和可靠性特别敏感。
3.&&&&&&需要严格管理MDM系统和源系统之间的关系，因为源系统的单方面修改会造成MDM系统产生问题。
Coexistence Implementation Style（共存风格）
图5显示的是共存风格的实现结构，允许在许多地方编写和存储MasterData，包括MDM系统。MDM系统使用与ConsolidationImplementation Style(合并风格)类似的方法从源系统获取并构造全局的Master Data Record。在MDM系统中可以查询和更新这个全局的MasterData Record。全局的MasterData Record的更新可以反馈到源系统中,也可以发布给下游的系统。
图 5 Coexistence Implementation Style(共存风格)
此风格的优点是能提供全部的MDM功能，但是不会大幅度改变现有的环境。缺点是存在MDM系统以外的MasterData 编写和更新，MDM系统中的数据不是最新的。
Transactional Hub Implementation Style(事务HUB风格)
在此风格中，MDM系统是唯一能管理Master Data的地方。现存的系统通过MDM的服务接口更新MasterData。 在MDM系统中，MasterData 被清洗、匹配和扩充，从而保证数据的质量。
一旦更新被接受后，MDM系统会把这些改变分发给对此感兴趣的应用和用户。可以通过消息方式，也可以批量的方式 发布这些改变信息。
这个风格的好处是任何Methodof Use (使用方式)均可以实施，包括：collaborative, operational 和 analytical。
不利的地方是：高成本和复杂度。所有的更新均会导向MDM系统，这意味着现存应用、商业流程、甚至机构结构也要相应发生变化。
MDM的关键功能
下文主要来自[Dreibelbis+08].
此节把MDM的主要功能分为四类：
1.&&&&&&Master Data Lifecycle Management（Master Data 生命周期管理）
2.&&&&&&Data Quality Management（数据质量管理）
3.&&&&&&Master Data Harmonization（Master Data 谐调和统一）
4.&&&&&&Analysis and InsightCapabilities（分析功能）
针对某个特定的MDM方案，需要根据业务需求和现有的IT环境，从中挑选合适的功能。
Master Data 生命周期管理
为了保证MasterData 它的生命周期内被有效管理和利用。MDM系统必须能提供以下类型的功能：
1.&&&&&&从新建直到数据停用，MasterData均能在MDM系统得到管理。
2.&&&&&&能分组和定义MasterData 实体间的层次关系。
3.&&&&&&灵活管理不同MasterData domain间的复杂的关系。比如 产品VS供应商，客户VS账户和地理位置。
4.&&&&&&能定义MasterData间的层次、关系和分组。手工方式或者自动方式(从外部系统获得诸如公司和机构、人员和机构等之间的关系)
5.&&&&&&有版本管理能力，能明白MasterData 实体的状态是如何随时间变化的，
6.&&&&&&有编写能力，能定义，管理，定制和扩展不同的类型的MasterData。
7.&&&&&&能够迅速增加新的MasterData。比如增加多渠道属性(multichannelattribute)，隐私偏好(Privacypreference)，还有存在但是尚未在企业应用中捕获的各种事件。多渠道属性可标记客户与企业最近一次交互的日期和时间，客户可能是通过客服代表，电话 或者Internet与企业接触的。隐私偏好标记客户的个人信息能不能在多个业务线间共享。
8.&&&&&&支持多种层次结构。比如产品的分类：可以从购买者的角度分，也可以从销售的角度分。
9.&&&&&&能维护数据的来源，标记出与MDM系统中的Master Data实体相关联的MasterData的存储位置。MDM系统可能不存储所有的与Master Data实体相关的信息，仅包含了一些需要集中维护的属性。
10.&&必要的MDM安全和隐私机制。
11.&&必要的审计(Audit)功能，帮助管理员了解修改Master Data 的相关信息：“who,” “what,” “how,” and “when”。
数据质量管理
1.&&&&&&需要有作数据分析和概要 (analysis and profiling)的能力。这有利于了解源系统中MasterData的质量和结构，确认必要的清理和合并规则。数据概要(DataProfiling)能力提供了建立数据质量基线(baseline)的方法，用以评估Master data的质量的改进程度。
2.&&&&&&能基于一致的数据标准化、校验和清理逻辑 改进Master Data的数据质量。这要求定义和实施一致的数据清理和校验规则，为数据域指定标准化逻辑，比如姓名和地址。
3.&&&&&&数据调谐(Datareconciliation)：能自动调谐MasterData实体，比如：客户和产品。 要组合deterministic和probabilistic的匹配功能，定义在合并多个Master Data记录时的存留规则(survivorship rule)。
4.&&&&&&数据治理能力：在发生数据冲突时，管理MasterData间的调谐，实施更新关键MasterData的数据质量策略。
5.&&&&&&能测量数据的失效程度(staleness)，定期更新和重新评估Master Data的数据质量。
Master Data协调(Harmonization)
此功能支持：1.业务系统与MDM系统的集成；2. 通过数据和系统集成技术在企业范围内分发MasterData。
1.&&&&&&集成功能加强共享、合并和分析MasterData的能力。例如，通过使用同步和异步技术，比如：消息、WebService、ETL和FTP等等，MDM系统内功能从业务系统处接收到Master Data的更新。
2.&&&&&&MDM系统能支持EAI(EnterpriseApplication Integration), ETL和EII(EnterpriseInformation Integration)同步信息，包括MDM系统与业务系统之间的信息同步和支持业务流程
3.&&&&&&基于MDM提供的知识，能够从业务系统中移除Master Data的内容。例如MDM系统发现某个客户不再活跃了，并且所有规定的条件均满足移除要求了。
4.&&&&&&必须具备自动或者手工的错误处理功能，应对企业内MasterData同步发生故障。例如，当某业务线系统不能成功收到和处理最近的MasterData更新的时候，必须采取一些行动，无论是手工的或者是自动的。
5.&&&&&&MDM方案能支持高吞吐量的事务环境，实现实时处理和高可用性。
1.&&&&&&分析能力：需要发现各种蕴含的关系，包括明显的和不明显的，从而支持业务决策。比如谁属于同一户(Household)，了解消费模式，交叉销售(cross-sell)和上拽销售(up-sell) 机会。
2.&&&&&&有能力从各分支机构处获得最新的MasterData，改进全局的业务决策。
3.&&&&&&能够提供分布于多个数据源的某个MasterData 实体的结构和非结构化信息。
4.&&&&&&协同能力：管理流程的状态的能力，这个流程的一系列任务由人或者系统驱动。
5.&&&&&&能配置事件管理服务：定义事件发生和产生提醒的各种条件。
CRM和MDM的关系
MDM是机构的一项重要的信息管理能力。MDM方案的目的是创建单一的存储（也许是虚拟的），存放高质量的MasterData，提供给各种应用系统一个同步的，一致的机构数据视图。
)，我们采用AdrianPayne在
HANDBOOK OF CRM: Achieving Excellence inCustomer Management (Elsevier Butterworth Heinemann,2005) 的中的定义：
“CRM是一个战略性的方法，通过发展与关键客户和客户群的恰当关系来获得更好的股东价值（公司价值）。CRM把IT和关系营销结合起来，与客户建立长期的，有利可图的关系。CRM提供了利用数据和信息了解客户并和他们一起共建价值的机会。CRM要求跨职能集成流程，人员和运营 和 营销能力，这需要通过信息、技术和它们的应用来实现。”
从上述定义，我们知道CRM需要跨职能集成流程，人员和运营 和 营销能力。因此MDM是一项强化CRM能力的必要的信息管理能力。没有对客户数据的一致的视图，CRM的价值将大打折扣，甚至对企业有负面影响。
为了帮助大家理解为什么MDM对CRM如此重要，我从
处摘取了一些颇为有趣的但是实在的观点：
“如果CRM和ERP能更好的管理MasterData,或许我们就不需要MDM了。”
“设计这些应用系统的年代是不考虑面向全局信息需求的。”
“很不幸，大部分CRM和ERP的运营假设是：整个企业的运营都要让它管理”
“这导致了数据孤岛(datasilo)，造成了企业信息分析和管理的很多问题。”
“这就是为什么MDMhub存在原因。它提供了为客户、产品和其他MasterData提供了一个中立的、负责创建、读取、更新和管理的地方 ”
“现今的CRM和ERP逐渐在和MDMHub结合。即使在今天，CRM和ERP产品的设计并不能有效管理MasterData。它们没有内置的数据质量和治理的流程，确保提供一个精确、完整、及时和一致的MasterData视图。”
EAI(Enterprise Application Integration) 和 MDM的关系
通过几代技术创建了自动化孤岛后，用户和管理人员便产生了要把它们桥接在一起的需求。 效果上他们想把这些应用联合为一个单一的企业级应用。EAI让现存封闭的系统共享流程和数据，从而解决这个需求。引用GartnerGroup的定义：EAI是：在联接的应用系统或者数据源之间无约束共享数据和业务流程。
EAI 假设应用系统自己能很好管理MasterData的数据质量。EAI只解决应用系统间的同步问题。很不幸，在一个分布式环境下，如何管理MasterData的数据质量一直存在着，甚至已经成了噩梦。
MDM从业务操作层面解决这个数据质量问题。它结合了类似数据仓库/数据分析等技术。 为了呈现一致的MasterData 视图，MDM系统必须有存储和管理Master Data的能力，共享给其他应用系统使用。MDM与这些应用系统的有效沟通需要EAI的帮助。
因此，MDM和EAI的关系是互补的。
References and Resources
David Loshin, Master Data Management, The MK/OMG Press Series, Morgan Kaufmann, 2009
Dreibelbis+08
Allen Dreibelbis, Eberhard Hechler, Ivan Milman, Martin Oberhofer, Paul van Run, Dan Wolfson, Enterprise Master Data Management: An SOA Approach to Managing Core Information, IBM Press, First edition (June 15, 2008).
Master Data Management, An Oracle White Paper, September 2011
Linthicum99
David S. Linthicum, Enterprise Application Integration, Addison Wesley,1999
已发表评论数()
请填写推刊名
描述不能大于100个字符!
权限设置： 公开
仅自己可见
正文不准确
标题不准确
排版有问题
主题不准确
没有分页内容
图片无法显示
视频无法显示
与原文不一致