文|帆软数据应用研究院 汪建辉引言：股份制改革对我国银行业来说只是一个开始，企业在风险管理、创造价值等方面还有很长的路要走。风险管理要求提供精准的数据模型、创造价值要求充分银行数据资产，这是数据治理的外部推动因素。此外，随着第三次工业革命的到来，银行业也需要进入定制化时代，以更低的成本，生产多样化的金融产品，从而满足不同顾客的不同需求。对数据本身而言，业务发展加快了数据膨胀的速度，也带来了数据不一致等问题，业务部门的频繁增加和剥离同样会对数据治理提出挑战。这些日益复杂的内外因决定了我国银行业对数据治理的超高标准要求，而目前对应的经验能力却稍显薄弱。数据治理不仅需要完善的保障机制，还需要理解具体的治理内容，比如我们的数据该怎么进行规范，元数据又该怎么来管理，每个过程需要哪些系统或者工具来进行配合？这些问题都是数据治理过程中最实际的问题，也是最复杂的问题，今天我们将从数据治理的各个核心领域来解答这些问题。这里分享一份帆软金融事业部针对国内银行数据要素分散、数据服务体系不健全、数据场景应用不清晰、数据人才匮乏等一系列问题，而提出的基于用户、场景为中心的金融数字化经营解决方案，感兴趣的朋友可以下载阅读。下面进入正文——银行数据治理核心领域每个数据治理的领域都可作为一个独立方向进行研究治理，目前总结的数据治理领域包括但不限于以下内容：数据标准、元数据、数据模型、数据分布、数据存储、数据交换、数据生命周期管理、数据质量、数据安全以及数据共享服务。同时各领域之间需要有机结合，如数据标准、元数据、数据质量等几个领域相互协同和依赖。通过数据标准的管理，可以提升数据合法性、合规性，进一步提升数据质量，减少数据生产问题；在元数据管理的基础上，可进行数据生命周期管理，有效控制在线数据规模，提高生产数据访问效率，减少系统资源浪费；通过元数据和数据模型管理，将报表、文件等数据资源按主题进行分类，可明确当事人、产品、协议等相关数据的主数据源归属、数据分布情况，有效实施数据分布的规划和治理。数据治理领域是随着银行业务发展而不断变化的，领域之间的关系也需要不断深入挖掘和分布，最终形成一个相互协同与验证的领域网，全方位提升数据治理成效。数据治理核心领域1.数据模型数据模型是数据治理中的重要部分，合适、合理、合规的数据模型，能够有效提高数据的合理分布和使用，它包括概念模型、逻辑数据模型和物理数据模型，是数据治理的关键、重点。而数据模型也包含三个部分，数据结构、数据操作、数据约束。数据结构：数据模型中的数据结构主要用来描述数据的类型、内容、性质以及数据间的联系等。数据结构是数据模型的基础，数据操作和数据约束都基本是建立在数据结构的之上的。不同的数据结构有不同的操作和约束。数据操作：数据模型中的数据操作主要用来描述在相应的数据结构上的操作类型和操作方式。数据约束：数据模型中的数据约束主要用来描述数据结构内数据间的语法、词义联系、他们之间的制约和依存关系，以及数据动态变化的规则，以保证数据的正确、有效和相容。2.元数据管理元数据分为业务元数据、技术元数据和操作元数据，三者之间关系紧密。业务元数据指导技术元数据，技术元数据以业务元数据为参考进行设计，操作元数据为两者的管理提供支撑。业务元数据：业务元数据是定义和业务相关数据的信息，用于辅助定位、理解及访问义乌信息。业务元数据的范围主要包括：业务指标、业务规则、数据质量规则、专业术语、数据标准、概念数据模型、实体/属性、逻辑数据模型等。技术元数据：它可以分成结构性技术元数据和关联性技术元数据。结构性技术元数据提供了在信息技术的基础架构中对数据的说明，如数据的存放位置、数据的存储类型、数据的血缘关系等。关联性技术元数据描述了数据之间的关联和数据在信息技术环境之中的流转情况。技术元数据的范围主要包括：技术规则（计算/统计/转换/汇总）、数据质量规则技术描述、字段、衍生字段、事实/维度、统计指标、表/视图/文件/接口、报表/多维分析、数据库/视图组/文件组/接口组、源代码/程序、系统、软件、硬件等。技术元数据一般以已有的业务元数据作为参考设计的。操作元数据：操作元数据主要指与元数据管理相关的组织、岗位、职责、流程，以及系统日常运行产生的操作数据。操作元数据管理的内容主要包括：与元数据管理相关的组织、岗位、职责、流程、项目、版本，以及系统生产运行中的操作记录，如运行记录、应用程序、运行作业。3.数据标准数据标准是银行建立的一套符合自身实际，涵盖定义、操作、应用多层次数据的标准化体系。它包括基础标准和指标标准（或称应用标准）。与数据治理其他核心领域具有一定的交叉，比如元数据标准、数据交换和传输标准、数据质量标准等。商业银行的数据标准一般以业界的标准为基础，如国家标准、监管机构（如国家统计局、中国人民银行、工信部）制定的标准，结合商业银行本身的实际情况对数据进行规范化，一般会包括格式、编码规则、字典值等内容。良好的数据标准体系有助于商业银行数据的共享、交互和应用，可以减少不同系统间数据转换的工作。数据标准的主要由业务定义、技术定义和管理信息三部分构成。数据标准的主体构成业务定义：业务定义主要是明确标准所属的业务主题以及标准的业务概念，包括业务使用上的规则以及标准的相关来源等。对于代码类标准，还会进一步明确编码规则以及相关的代码内容，以达到定义统一、口径统一、名称统一、参照统一以及来源统一的目的，进而形成一套一致、规范、开放和共享的业务标准数据。技术定义：技术定义是指描述数据类型、数据格式、数据长度以及来源系统等技术属性，从而能够对信息系统的建设和使用提供指导和约束。管理信息：管理信息是指明确标准的所有者、管理人员、使用部门等内容，从而使数据标准的管理和维护工作有明确的责任主体，以保障数据标准能够持续的进行更新和改进。4.数据质量管理数据质量管理已经成为银行数据治理的有机组成部分。高质量的数据是商业银行进行分析决策、业务发展规划的重要基础，只有建立完整的数据质量体系，才能有效提升银行数据整体质量，从而更好的为客户服务，提供更为精准的决策分析数据。制度和规范。从技术层面上，应该完整全面的定义数据质量的评估维度，包括完整性、时效性等，按照已定义的维度，在系统建设的各个阶段都应该根据标准进行数据质量检测和规范，及时进行治理，避免事后的清洗工作。数据质量评价维度明确相应的管理流程。数据质量问题会发生在各个阶段，因此需要明确各个阶段的数据质量管理流程。例如，在需求和设计阶段就需要明确数据质量的规则定义，从而指导数据结构和程序逻辑的设计；在开发和测试阶段则需要对前面提到的规则进行验证，确保相应的规则能够生效；最后在投产后要有相应的检查，从而将数据质量问题尽可能消灭在萌芽状态。数据质量管理措施，宜采用控制增量、消灭存量的策略，有效控制增量，不断消除存量。商业银行数据质量管理流程5.数据生命周期管理任何事物都具有一定的生命周期，数据也不例外。从数据的产生、加工、使用乃至消亡都应该有一个科学的管理办法，将极少或者不再使用的数据从系统中剥离出来，并通过核实的存储设备进行保留，不仅能够提高系统的运行效率，更好的服务客户，还能大幅度减少因为数据长期保存带来的储存成本。数据生命周期一般包含在线阶段、归档阶段（有时还会进一步划分为在线归档阶段和离线归档阶段）、销毁阶段三大阶段，管理内容包括建立合理的数据类别，针对不同类别的数据制定各个阶段的保留时间、存储介质、清理规则和方式、注意事项等。数据生命周期中各参数间的关系从上图数据生命周期中各参数间的关系中我们可以了解到，数据生命周期管理可以使得高价值数据的查询效率大幅提升，而且高价格的存储介质的采购量也可以减少很多；但是随着数据的使用程度的下降，数据被逐渐归档，查询时间也慢慢的变长；最后随着数据的使用频率和价值基本没有了之后，就可以逐渐销毁了。6. 数据分布和存储数据分布和存储主要涵盖了数据如何划分和存储，总行系统以及总分行数据如何分布，主数据及参考数据（也称为副本数据或者辅数据）如何管理。只有对数据进行合理的分布和存储，才能有效的提高数据的共享程度，才能尽可能的减少数据冗余带来的存储成本。通常情况下，综合数据规模、使用频率、使用特性、服务时效等因素，从存储体系角度，可以将商业银行的数据存储划分为四类存储区域，即交易型数据区、集成型数据区、分析型数据区、历史型数据区。1、交易型数据区。交易型数据区包括渠道接入、交互控制、业务处理、决策支持与管理等各类联机应用数据；存储客户自助或与银行操作人员在业务交互办理过过程中产生的原始数据的存储，包括业务处理数据，内部管理数据和一些外部数据，其存储的是当前状态数据。2、集成型数据区。集成型数据区包括操作型数据（OLTP）和数据仓库型数据（OLAP）。3、分析型数据区。分析型数据主要是用于决策支持与管理的各类集市应用的数据。为了对业务执行情况进行深入分析，需要对原始数据进行进一步汇总统计分析，统计分析结果用于最终的决策展示，因此分析型数据区存储了这些统计、分析模型结构的指标数据。4、历史数据区。这里存储了所有近线应用、归档应用、外部审计数据平台应用等的数据，主要满足各种历史数据归档后的数据保管和数据查询服务。数据存储布局7.数据交换数据交换是银行进行数据交互和共享的基础，合理的数据交换体系有助于银行提高数据共享程度和数据流转时效。一般商业银行会对系统间数据的交换规则制定一些原则，比如对接口、文件的命名、内容进行明确，规范系统间、银行系统与外部机构间的数据交换规则，指导数据交换工作有序进行。建立统一的数据交换系统，一方面可以提高数据共享的时效性，另一方面也可以精确掌握数据的流向。8.数据安全商业银行的重要且敏感数据大部分集中在应用系统中，例如客户的联络信息、资产信息等，如果不慎泄露，不仅给客户带来损失，也会给商业银行带来不利的声誉影响，因此数据安全在数据管理和治理过程中是相当重要的。数据存储安全。包括物理安全、系统安全存储数据的安全，主要通过安全硬件的采购来保障数据存储安全。数据传输安全。包括数据的加密和数据网络安全控制，主要通过专业加密软件厂商进行规范设计和安装。数据使用安全。需要加强从业务系统层面进行控制，防范非授权访问和下载打印客户数据信息；部署客户端安全控制工具，建立完善的客户端信息防泄漏机制，防范将客户端上存储的个人客户信息非授权传播；建立完善的数据安全管理体系，建立数据安全规范制度体系，组建数据安全管理组织机构，建立有效的数据安全审查机制；对于生产及研发测试过程中使用的各类敏感数据进行严密管理；严格与外单位合作中的个人客户信息安全管理等。9.数据服务数据的管理和治理是为了更好的利用数据，是数据应用的基础。银行应该以数据为根本，以业务为导向，通过对大数据的集中、整合、挖掘和共享，实现对多样化、海量数据的快速处理及价值挖掘，利用大数据技术支持产品快速创新，提升以客户为中心的精准营销和差异化客户服务能力，增强风险防控实时性、前瞻性和系统性，推动业务管理向信息化、精细化转型，全面支持信息化银行的建设。建立结构化数据处理分析平台。数据仓库建设能够实现企业异构数据的集成，企业按照分析主题重组数据，建立面向全行的一致的信息视图。下图是一个典型的银行数据仓库服务体系：银行典型的数据仓库服务体系数据资产视图。在建立了数据仓库之后，需要建立统一的分析和可视化平台，解决数据在哪里，数据怎么用的问题。一个典型的应用是建立全行统一客户视图，包含客户信息统一视图、客户信息风险视图和网点业绩视图。数据资产视图示例数据治理不是一个临时性的运动，从银行业务发展、数据治理意识形成、数据治理体系运行的角度，需要一个长效机制来进行保证。 在大数据时代，经过数据治理的银行数据可以发挥更大的作用。1.利用大数据挖掘技术分析各类海量信息，发现市场热点与需求，实现产品创新服务可以将大数据应用到产品生命周期，深入挖掘客户需求，把握客户痛点，推动产品创新。利用大数据技术对社交网络信息、在线客户评论、博客、呼叫中心服务工单、用户体验反馈等信息进行深度挖掘和分析，充分洞察客户，分析客户的情绪，了解客户对产品的想法，获知客户需求的变化趋势，从而对现有产品进行及时的调整和创新，事情贴近客户的生活场景和使用习惯。基于大数据创新产品评价方法，为产品创新提供数据支撑。通过大数据分析，改变目前以规模、总量为主的业务评价方式，建立一整套完整的以质量、结构为主的全新的评价方式，以引导全行真正追求有质量、有效益的发展。2.加强内外部信息联动，重点利用外部信息提升银行风险防控能力进一步加强与税务、海关、法院、电力部门、水务部门、房产交易登记中心、环保部门以及第三方合作机构的数据互联共享，有效拓宽信息来源渠道，深度挖掘整合系统内外客户信息、关联关系、交易行为、交易习惯、上下游交易对手、资金周转频率等数据信息，利用大数据技术查找与分析不同数据变量间的关联关系，并建立相应的决策模型，提升银行风险防控能力。在信用风险方面，可以结合外部数据，完善信用风险防范体系，基于可视化分析有效防控信用风险的传导。引入大数据理念和技术，统一信用风险模型管理，构建覆盖信用风险训练、模型管理、日常预警、评分评级、客户信用视图以及业务联动控制的信贷大数据平台，建立多维度、全方位的缝隙爱你预警体系。在市场风险方面，基于市场信息有效预测市场变动，基于大数据处理技术提升海量金融数据交易的定价能力，构建定价估值引擎批量网格计算服务模式，支持对海量交易的实时定价，有效提升银行风险管控与定价能力，为金融市场业务的发展提供有力支撑。在操作风险方面，依托大数据信息整合优势，有效防控操作风险。通过可视化技术，从业务网数据中发现识别风险线索，实现由“风险监控”向“业务监控”模式转变，提升风险的提前预警能力。加强跨专业风险监控模型的研发，通过由点带线、由线及面的矩阵式关联监控，提前识别风险交织趋势，防范风险传染。3.利用大数据技术提升经营管理水平，优化业务流程，实现精细化经营决策在经营决策方面，通过外部数据的补充和整理，实现经营分析外延的拓展，从市场和经营环境的高度分析各级机构的发展方向、竞争压力，制定更合理、更有效的经营策略。同时，应用大数据可视化技术，实现复杂分析过程和分析要素向用户的有效传递，增强分析结果说服力和指导性，向经营人员提供有力的信息支撑。在资源配置方面，依托大数据采集和计算能力，提升测算的敏感性和有效性，加强财务预测的可靠性和有效性，为总体资源配置提供更好的信息支撑，实现对具体资源配置的动态管理。在过程改进方面，优化业务流程，对交易、日志的专业挖掘，探索当前业务处理流程节点的瓶颈，寻求最有的解决方案。比如通过分析客户从排队到等候完成全部交易的流程合理性，提出过程改进方法，提升网点整体运营效率和客户体验。在运维保障方面，基于流数据处理技术，搭建准实时的应用交易级监控平台，实现交易运行情况的即时监控，保障业务运行稳定高效。最后分享一些相关资料：

点击蓝字关注我们我们将每期线上沙龙中，老师们最关注的问题做了摘录，供大家交流探讨。本期是关于2020年4月16日“数据治理管理‘工具篇’——希嘉数据纠错填报系统（一表通）”一期的精彩问答回顾。01 自动修改业务系统数据库中的数据，需要业务系统做二次开发吗，还是要给数据库权限就可以了？不需要业务系统去做二次开发，只需提供待修改数据库中对应表的写入权限即可。02 像高基表类统计性质的表，是否可以通过一表通来解决？我们可以对高基表数据进行采集，但是暂时没有对采集的数据进行统计分析的功能。一表通核心是采集数据，填报本身不具备统计分析功能。03 反写业务系统、业务系统的回滚是怎么做的？回滚的话，有可能会造成业务系统表格逻辑上的错误，这个是怎么规避的？如果数据是一对多的形式，能自动写入数据库吗？反写业务系统前会做数据备份，反写数据是针对具体信息找到具体数值，回滚是针对修改的具体某一个数值进行回滚。反写数据和回滚数据有一定的风险，我们会在安全策略上做一些调整，比如说数据的备份等。直接修改数据只是提供的修改方式之一，根据大部分用户需求，业务系统数据还是由业务部门维护。所以我们产品支持推送消息给业务部门，由业务部门去修改数据。修改数据，会在技术层面设置一个逻辑主键，辅助判断能不能改和改动之后数值正确性，需要根据具体场景去分析。目前不支持一对多的形式，因为会有风险，暂时只支持基于某个数据库发布的表单修改该库数据。04 数据修改后是保存在数据平台的数仓里，还是在业务系统的数据库中？会不会存在数据不一致的情况？如果存在数据不一致的情况，如何解决？数据修改后是保存在数据平台的数仓里，还是在业务系统的数据库中，取决于表单的数据来源，基于某个数据库发布的表单去修改该库数据。可能会出现数据不一致的情况。当表单是基于数仓发布，修改后数据回写到数仓中，而原始业务系统没有修改，数据会在下个任务执行之后，把业务系统中的错误数据同步到数仓中替换修改后的数据。解决的思路有两种，第一种，有数据治理工程，知道权威的数据来源，基于业务系统去发布表单；另外一种，基于数仓发布的表单，当用户提出修改申请，同步申请给业务部门，业务部门负责人在业务系统中把数据做同步修改，就可以解决这个问题。05 会议中提到，某校数据中心和数据开放平台是希嘉建设的，数据纠错和填报平台由其他厂商提供，中间使用过程衔接不好，原因是不是主要因数据交互的实时性问题？这是不是说希嘉的数据开放平台和第三方系统对接有问题？反过来说，如果数据开放平台是其他厂商的，对接希嘉的数据纠错和填报系统，是否有弊端，是否可行？首先，衔接不好的原因在于业务和数据的断层，并不是实时性的问题。数据断层包含两种情况，第一种是业务系统厂商由于没有做数据治理，因此在发布表单时不了解数据的权威来源，该用户数据治理工程是由希嘉完成的，因此用户将希嘉的数据治理成果推送到中间表再由厂商调用。第二种是做业务的厂商并不擅长数据开放，而用户采数据的目的核心是为了支撑应用，用户将厂商采集的数据通过希嘉的开放平台开放给其他厂商使用。以上两个场景都是因为数据脱节导致的，并不是数据交互实时性存在问题。 其次，希嘉的纠错填报和第三方系统之间对接不存在弊端。在我们的产品体系设计上，兼顾自身数据产品融合的同时，也考虑到用户没有采购希嘉的数据产品或数据服务，因此产品中有强大的配置功能用以对表单的细节进行配置，相较于我们直接调用自身的数据治理成果，用时可能会稍长一些，但是并不会出现不能兼容或不能独立部署的情况。06 填报的过程中数据纠错、补全是一个很方便完善的途径，但是这个功能横向涉及到很多部门，很多数据源的操作权限，纵向涉及到某一个部门某一个数据源的多级审批权限，纠错功能现在是否能很好的实现？我们产品已经实现纠错的功能。我们提供横向和纵向的审批，通过内置的流程引擎完成横向的审批，通过产品权限体系完成纵向审批。07 产品界面如何和领导驾驶舱结合？领导驾驶舱是一个应用，我们产品不仅可以和领导驾驶舱结合，也可以和任何应用结合。设计表单后会生成分享的链接，链接可以嵌入到任何的应用中。应用中添加一个入口，比如按钮，按钮绑定链接，点击按钮之后就可以去表单中纠错或者填报了。08 看到产品支持移动端的审批，移动端的填报是不是支持？我们产品目前只做了移动端审批，移动端的填报也已经进入规划阶段。移动端既要保证填报的准确性和便捷性，更重要的是符合移动端操作习惯。更多问答回顾问答集锦
高校数据治理项目中对传统共享库的改造实践问答集锦
高校数据质量管理思考与实践