数字化时代,数据作为继土地、劳动力、资本、技术之后的第五大成产要素,从企业业务发展的副产品变成了炙手可热的“数字明星”,在各界瞩目中冉冉升起。为了实现自身的存续发展,企业纷纷谋求转型,希望能够搭上数字经济的快车。
而要实现企业的数字化转型,实现企业内部数据的资源化和资产化,使数据能够发挥其价值,就必须先越过横亘在道路上的大山——数据治理。那么,有哪些因素左右着数据治理项目的成败?企业和咨询方该如何通力配合,才能收获一张满意的答卷?数通凭借多年数据治理经验,总结出了以下经验。
何为数据治理
有效的数据治理可以确保企业数据全面一致可信,从而全面释放数据资产的价值。只有 确保数据的标准化、规范化、可信可用 ,才能进一步通过数据运营、数据应用帮助企业实现数据资产管理、发现内部数据问题、发掘数据价值,进而实现企业数据资产的盘活和有效利用。
1.数据治理定义
根据Gartner的定义,数据治理是指在数据创建、评估、使用、控制等数据管理活动过程中,对组织内相关部门和人员权责的一系列规范和要求,包括了流程、角色、制度、标准等方面内容,以保障组织能够通过高效地使用数据实现其目标。
2.数据治理目标
在企业或机构进行信息化和数字化建设的过程中,由于各部门的信息系统往往是分散建设,缺乏对数据进行统一的管理,导致出现了数据孤岛、管理职责混乱,数据标准和数据指标不一致,以及数据不完整、数据错误等质量问题。
数据治理的整体目标即是 通过体系化的机制与方法,构建和持续运营数据资产,保障数据全链路的畅通,提升数据质量 ,让数据资产可被信任,并易于访问和使用,从而充分发挥数据的价值,以提升组织的管理水平和业务运营效率,增强创新能力等。
3.数据治理价值
1. 建立数据管理机制 :首先,通过设立专门的数据管理部门或数据管理团队,明确其职责和权限,可以确保数据的有效管理和控制。这些团队通常负责制定和执行数据管理策略,包括数据采集、清洗、整合、存储、备份和加密等方面的工作。此外,明确各部门的协作流程和规范,可以减少沟通成本和避免数据不一致或冗余的情况。
2. 构建数据资产 :通过提供系统化的数据治理方*论法**,包括制定数据标准、分类、质量管理等,可以将企业内的数据进行规范化和标准化。这有助于将数据进行整理和归纳,形成具有价值的数据资产。
3. 持续运营数据资产 :通过提供平台工具固化数据治理能力,可以简化数据治理的流程和操作,提高运营效率。这些工具通常包括数据集成、数据处理、数据分析和可视化等方面。
4. 促进数据分析与应用 :数据治理的另一个重要价值是提高数据质量,促进数据分析和应用。通过提高数据质量,可以减少数据分析的误差和不确定性,提高分析的准确性和可信度。同时,规范化、标准化的数据治理还可以促进不同部门之间的数据共享和应用。
面临哪些挑战
很多企业要做数据管理工作时,因为主数据固有的的一些特性,不得不面对治理中的一些难题,可归结为责任部门不清晰、数据定义不明确、维护流程不统一、数据共享不及时。
1.责任部门方面
责任部门不清晰 。主数据的共享应用的特性决定了它将在各部门都有应用,只是侧重点不同,比如人员主数据,在人力资源部管理人事信息,信息中心主管账号信息,财务部管理工资信息等等,而且各部门管理范围都不一样,维护的属性也不统一,各部门责任界定不清晰。
2.数据定义方面
数据定义不明确 。数据定义包含数据属性定义,数据标准规范,编码规范等,由于应用习惯不同,数据定义在部门之间也不明确,比如各部门同一类主数据编码规则不统一,数据大小写不一致(如规格型号,有大小写之分),名称不统一(如同名时容易叫张超,张超1)等。
3.维护流程方面
维护流程不统一 。随着企业的不断发展,数据量呈现指数级增长,企业没有对主数据管理进行统一规划,导致各部门根据业务需求各自进行主数据的分散维护,导致维护流程不统一,直接影响主数据的数据质量和数据唯一性等。因此,需要更高效的数据处理方法和更完善的数据维护流程来确保数据的准确性和完整性。
4.数据共享方面
数据共享不及时 。缺少统一管理的主数据,无法实现统一的数据分发与共享,往往是需求提出后才进行数据的维护,数据维护工作量大,耗时长,从长远来看效果不理想,甚至对业务准确性、及时性等产生影响。
数据治理方案
由“MDM基础数据平台+ ESB应用集成平台“构成的基础数据治理方案能够基于业务系统平台的服务接口实现全量/增量的基础数据传输交换,保证各业务系统基础数据的同源、一致、准确,支撑企业的业务集成以及数据中心建设。
1.需求痛点分析
企业信息化发展过程中,引进多家厂商系统,彼此之间具有系统壁垒,形成信息孤岛;企业各部门间的数据权限划分模糊,数据重复、冗余且无法保证准确性,没有统一的数据规范;大量且重复性高的工作,占据企业和员工时间,给员工带来不必要的负担,导致效率低下;各部门数据及版本不一致,增加了人工整理数据的时间和工作量。由MDM基础数据平台、ESB企业服务总线组成的基础数据治理方案能有效解决上述问题。
2.方案架构说明
在数通基础数据治理方案中,MDM产品起到提高数据特征一致性、识别唯一性、高度共享性及长期有效性,从而 获得“单一的基础数据来源” ,避免提供的数据有误,造成大量定制视图或者统计报表计算逻辑错误,导致流程监控出错等一系列问题,为企业运营管理过程中深度应用集成、业务流程再造、业务升级创新提供准确的数据支撑作用;ESB产品作为数据交换平台,支持应用间批量数据交换和数据库间的数据交互,包括数据的抽取、转换和导入操作。不需要向不同的业务系统请求主数据的获取、同步,只需要通过ESB进行数据分发、下发等操作即可获取这些数据,帮助企业数据整合或数据中心建设。

3.方案特色说明
数通基础数据治理方案具有功能完备性、开放高效性、可拓展性、安全性、易用性和稳定性等特色,可以帮助企业更好地管理和使用数据,提高企业的业务能力和竞争力。
1. 功能完备性 :该方案具备完整的数据治理功能,包括数据集成、数据清洗、数据标准化、数据管理、数据安全等功能,可以满足企业对于基础数据治理的需求。
2. 组合性 :数通MDM基础数据平台和ESB应用集成平台灵活组合,使用时各司其职,又无缝集成对接,相互进行流程调用和数据共享,形成基于客户痛点有针对性的解决方案。
3. 易用性 :该方案提供了友好的用户界面和操作流程,方便用户进行数据治理和管理,方案中预置的数据,便于使用人员快速上手使用。
4. 稳定性 :该方案具备稳定可靠的技术架构和数据处理能力,可以保证数据治理和管理的稳定性和持续性。
5. 灵活性 :该方案支持公有云、私有云、混合云多种部署形式,这种灵活性使得企业可以根据自身需求和实际情况选择最适合的云部署方式。
6. 开放高效性 :该方案支持多种数据源的集成,包括关系型和非关系型数据库、文件、Excel等,同时支持多种数据接口的开放,可以满足企业对于数据开放和共享的需求。
7. 可拓展性 :该方案采用模块化的设计方式,可以方便地进行功能扩展和定制,同时支持多种数据格式和协议,可以满足企业对于数据治理和管理的不断变化和升级的需求。
8. 预置样例 :数通方案中预置样例数据,用户可以通过这些数据了解产品的功能、使用方法以及各种参数的含义,便于项目快速启动。同时通过预制样例可能节省手动创建数据的时间和资源,也可以避免由于手动操作出现的数据错误。
9. 安全性 :该方案提供了完善的数据安全保障措施,包括数据加密、访问控制、权限管理等,确保数据的机密性和完整性。
前期调研阶段
整体调研分为两阶段,第一阶段主要 了解企业运作模式 ,了解其业务架构、组织架构、业务流程、应用架构以及数据架构,在第二阶段主要针对主数据层面, 了解其需求、数据模型、对接方案以及相关接口 。
1.项目调研目的
整体调研通常分为两个阶段,分别为系统调研以及业务调研,调研时间通常为自然月,共调研两轮, 第一轮调研时,主要是了解产品,分析可能存在的主数据类型 ,并与各个厂家的实施维护人员见面,进行产品演示。如果有两个系统都用到的数据,先对数据进行记录,明确使用字段、数据来源,明确两个系统间共用数据是否有联系,包含线下数据。对于相互重叠的主数据,应该明确哪里作为数据的源头。 第二轮调研更多的是讨论和确认 ,例如确认主数据的元数据字段信息,与各业务厂商明确接口以及集成对接方式等等,在最终确认后与业务部门进行沟通,方便后续数据管理、测试、运维等工作。
2.项目调研思路
前期调研一般由我方向客户提出请求,由客户发起联系各个业务系统的厂商合理安排会议时间节点,沟通时间主要取决于业务系统的复杂程度,最好是由各厂商运维人员对业务系统进行介绍演示,在演示过程中对不明确问题进行记录, 将确认完毕事宜通过邮件发送至各系统厂商邮箱进行留痕 。
3.项目系统调研
在系统调研时,首先需要了解该企业现有的应用系统,根据招标文件明确本期建设内容以及边界,了解各个应用系统的核心应用模块以及其主要作用, 在条件允许的情况下与各个业务厂商碰面 ,让其进行系统演示,对于不明确的业务点及时记录明确,并让业务厂商提供登录测试系统账号、数据字典等相关对接文件,根据其系统的介绍并明确主数据的来源以及该类主数据在该业务系统是如何维护的进行记录,对该数据什么人员使用、使用场景进行记录,最后由客户以及各厂商提出主数据层面的需求以及想法。
4.项目业务调研
业务调研整体分为两类,分别为 主数据集成和应用集成 ,在对业务部门调研时需要记录,在后续通过会议纪要的形式邮件发送给项目总监、负责人以及参与调研的双方人员。
主数据集成首先需要根据业务系统调研确认主数据的类别 ,以该制造业物料主数据为例,明确该类主数据在哪些业务系统中使用,物料主数据的源头在哪,需要分发到什么应用系统中,在源头系统需要对主数据的维护模式进行确认,并与来源系统明确主数据同步以及数据初始化形式等等,例如物料主数据又根据物料分组形成的编码规则,需要和客户确认是否沿用该编码等。在应用集成时需要明确有哪些集成的场景,对接哪类应用系统,该应用系统目前是否在维护,能否提供对接的接口等。
项目实施阶段
针对调研阶段输出对应蓝图资料进行确认,基于蓝图进行主数据的模型创建及对应ESB应用集成流程开发工作,对实施阶段的主数据模型创建、集成开发以及和各业务系统联测说明如下。
1.数据模型创建
模型创建主要针对的产品为MDM主数据管理平台,建模涵盖如下几个技术要点:分别为 数据建模、功能建模、分类数据建模、参考数据建模、功能组件 等。我们构建的模型并不是一蹴而就的,主数据的模型创建是根据客户及源头业务系统的需求进行联动的,首先需要确定建模采用哪种功能模型,在这个模型的基础上进行字段的扩充丰富即可。
2.集成开发阶段
ESB应用集成流程开发实际上最重要的不是技术上的问题,在技术上了解一些常用的ESB组件即可,最重要的是了解其数据结构, 了解各类主数据的之间的关联关系才最重要 ,在生产类主数据集成流程开发过程中物料的数据关联性非常紧密,例如在制造BOM及设计BOM同步过后需要将对应的物料也进行变更操作。所以说在IT行业了解业务是至关重要的,基于业务去分析对应的数据结构,最终进行集成流程的开发工作。
3.功能测试阶段
实际上功能测试出现问题更多的原因是由于 业务场景考虑不全面导致 ,例如在源头系统新增人员数据时,仅仅绑定了组织架构的一个接口,而没有考虑到人事档案、入职等模块也可以进行人员的录入操作,这样就会导致产生源头系统同主数据管理平台不一致,主数据同消费系统不一致的现象,此时消费系统就会反馈这种情况,由主数据进行排查发现问题并解决问题。
所以说在进行功能测试时最重要的是 在宏观上考虑业务场景 ,防止因为业务场景考虑不全面导致数据出现问题的现象,其次考虑数据状态对应主数据的业务场景,常见的有数据新增、变更、归档等,最后在进行逐个字段的测试。
项目成功保障
数据治理是体系化非常强的工作,首先需要充分考虑企业内部 IT系统、数据资源以及业务应用的开展现状,同时也要考虑围绕业务开展所设立的人员和组织机构的情况,在此基础上设计一套有针对性的数据治理组织架构、管理流程、管理机制和考核评估办法,通过管理的手段明确“责权利”以保障数据治理工作有序开展。
1.制定战略规划
从管理层、领导层出发,从上向下全局部署数据治理规范从而形成全面的标准规则体系和执行调度流程。 战略规划是数据治理项目成为企业战略核心任务应用的重要部分 ,是数据资产得到一定程度内外部应用的指导蓝图。值得一提的是,越来越多的企业单位在战略规划阶段决议成立专门的数据管理部门,以连通 IT 部门和业务部门。
2.完善组织架构
典型的组织架构主要由数据治理委员会、数据治理管理中心和各业务部门构成。组织架构划分和角色设定如下图所示:

组织需要明确数据治理角色,划分出单独的组织架构,落实追责,才能保障数据治理项目能落实落地。每个机构设立的数据治理组织名称或者结构可能各不相同,但一般情况下都包含以下四个重要角色:
1. 数据治理管控委员会 :主要职责是负责数据治理项目,组织协调推进项目实施监督和落地,该部门职位为组织领导层担任。
2. 数据管理岗 :主要负责协调和管理数据治理相关工作,负责组织,推动数据治理相关工作的开展,该部门职位为IT部门领导担任。
3. 业务部门成员 :主要是数据的生产者和使用者,负责从业务层面参与到数据管理工作,设置数据管理专员,发现数据治理过程中的问题并提出改进建议,该部门主要为各业务部门成员担任。
4. 信息中心 :主要是通过技术层面参与数据治理工作,该部门职位主要由IT部门技术人员担任。
3.建立制度体系
为了保障活动实施和组织架构正常运转,需要建立一套覆盖数据引入、使用、开放等整个生产运营过程的数据管理规范,从制度上保障数据治理工作有据、可行、可控。数据治理规范包括元数据管理规范、生命周期管理规范、数据质量管理规范以及数据安全管理规范等对应管理职能的具体规范。
4.设置审计机制
为进一步保障数据治理的的执行状况,需有完整的贯穿数据治理整个流程的审计机制。审计方式从审计体系规范建设入手,信息技术审计方法和专职人员审计方法并行。审计对象包括数据权限使用制度及其审批流程、日志留存管理办法、数据备份恢复管理机制、监控审计体系规范以及安全操作方案等体系制度规范以及敏感、重要数据。
5.开展培训宣贯
培训宣贯是企业实施数据治理进程中的重要组成部分,是数据治理理论落地实践、流程执行运作的基础,是数据治理牵头部门在技术部门和业务部门之间顺利开展工作的重要保障。企业需利用现有资源,合理安排员工参与数据治理培训、课程。促进员工有效培训和自我提高,提升人员的职业化水平,强化工作的标准化、规范化。
数据治理不仅是企业寻求发展需要建设实施的工程,也是用户、市场、社会对于企业的基本要求,只要高质量的数据能够在企业内外完成流通,通过数据创造价值来让企业发展,那么数据治理的价值就不可估量。同时更加适合的技术、工具或体系,能够让企业数据治理更加完善,让数据更适合企业的发展,发挥关键性的作用。
数据治理是一项战略性、长期性、艰巨性、系统性、持续进行的企业内部数据优化治理工作,因此, 数据治理必然是一个漫长而持续的过程 ,没有一针顶破天的诀窍,也没有立竿见影的途径,唯有企业持续不断、持之以恒、不忘初心、不懈努力,才能达到预期目标。
本文由@数通畅联原创,欢迎转发,仅供学习交流使用,引用请注明出处!谢谢~