浅谈数据治理、数据管理、数据资源与数据资产管理内涵及差异点(建议收藏)
前言随着信息技术的不断涌现和普及,业务发展加快了数据膨胀的速度,行业内衍生了较多的新名词,如数据治理、数据管理、数据资源管理、数据资产管理等名词的定义很多,概念容易混淆,本文对这些名词术语及内涵进行系统的解析,便于读者对数据相关的概念有全面的认识。一数据与数据管理 (Data and Data Management)1.1数据数据(Data)是指所有能输入到计算机并被计算机程序处理的符号的介质的总称,是用于输入电子计算机进行处理,具有一定意义的数字、字母、符号和模拟量等的通称,是组成信息系统的最基本要素。未来是智能时代,企业的决策机制将发生巨大变化,谁最先拥抱数据,谁就拥有更多智慧,谁就拥有更强竞争力,大数据技术将会推动人类无所不知、无所不晓、无所不能,助力无所不能的是无所不包的数据,未来十年,只有拥抱数据技术才是唯一选择。1.2数据管理数据管理(Data Management)的概念是伴随上世纪八十年代数据随机存储技术和数据库技术的使用,计算机系统中的数据可以方便地存储和访问而提出的。2015年,国际数据管理协会(DAMA,Data Management Association International)在DBMOK2.0知识领域将其扩展为11个管理职能,分别是数据架构、数据模型与设计、数据存储与操作、数据安全(Data Security)、数据集成与互操作性、文件和内容、参考数据和主数据(Master Data)、数据仓库(Data Warehouse)和商务智能(BI,Business Intelligence)、元数据(Metadata)、数据质量(Data quality)等。数据管理(Data Management)是指通过规划、控制与提供数据和信息资产职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,以获取、控制、保护、交付和提高数据和信息资产价值。表1.各大机构对数据管理的定义一览表机构名称数据管理DAMA-DMBOK数据管理(Data Management, DM)是为实现数据和信息资产价值的获取、控制、保护、交付以及提升,对政策、实践和项目所做的计划、执行和监督。该定义包含以下三层含义:(1)数据管理包含一系列业务职能,包括政策、计划、实践和项目的计划和执行;(2)数据管理包含一套严格的管理规范和过程,用于确保业务职能得到有效履行;(3)数据管理包含多个由业务领导和技术专家组成的管理团队,负责落实管理规范和过程。数据管理的其他称谓包括:信息管理(IM)、企业信息管理(EIM)、企业数据管理(EDM)、数据资源管理(DRM)、信息资源管理(IRM)、信息资产管理(IAM)。ISOOBP(1)数据管理提供对数据的访问、执行或监视数据存储以及控制数据处理系统中所有输入输出操作的功能。——摘自ISO/IEC 20944-1:2013(en), 3.6.6.2(2)数据管理的接口有向更高级别的应用程序和接口提供读取、写入、收集、筛选、分组和事件订阅以及RFID标记数据通知的功能。——摘自ISO/IEC 24791-1:2010(en), 4.2(3)数据管理在数据处理系统中,提供对数据的访问、执行或监视数据存储以及控制输入输出操作的功能〔ISO/IEC 2382:2015,信息技术词汇〕。在整个数据生命周期中,提供对符合数据要求的业务和技术数据的规划、获取和管理。——摘自ISO/IEC/IEEE 24765:2017(en), 3.1017二数据治理(Data Governance)2.1数据治理的定义数据治理(Data Governance)是一个正在不断发展的新兴学科,与众多新兴学科一样,目前数据治理存在多种定义,各大机构对数据治理的定义,如下表所示:表2. 各大机构对数据治理的定义一览表机构名称数据治理相关定义DGI数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统,这些过程按照达成共识的模型来执行,该模型描述了谁(Who)能根据什么信息,在什么时间(When)和情况(Where)下,用什么方法(How),采取什么行动(What)。IBM数据治理是一门将数据视为一项企业资产的学科。数据治理是针对数据管理的质量控制规范,它将严密性和纪律性植入企业的数据管理、利用、优化和保护过程中。它涉及到以企业资产的形式对数据进行优化、保护和利用的决策权利。它涉及到对组织内的人员、流程、技术和策略的编排,以从企业数据获取最优的价值。DMBOK数据治理(Data Governance, DG)是指对数据资产管理行使权力和控制的活动集合(规划、监督和执行)。COBIT 5COBIT 5中给出的不是数据治理定义,而是信息治理。因为这两个术语实际上是同义词,所以可采用COBIT 5的信息治理定义作为数据治理定义。信息治理(Information Governance, IG)包含以下三个方面的内容[ISA13]:(1)确保信息利益相关者的需要、条件和选择得到评估,以达成平衡的、一致的企业目标,这些企业目标需要通过对信息资源的获取和管理实现;(2)确保通过优先排序和决策机制为信息管理职能设定方向;(3)确保基于达成一致的方向和目标对信息资源的绩效和合规进行监督。百度百科数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程,并最终使企业能将数据作为企业的核心资产来管理。学术文献(1)数据治理是指企业数据管理的决策权和相关职责的分配。(2)数据治理是一个用于明确企业数据使用的决策权和职责分工的结构化框架。(3)数据治理是指企业数据资产的决策权分配。(4)数据治理是金融机构对有效数据产生影响的人员、过程、技术应用和组织的处理和管控,以确保数据对合理使用者和所有者产生的内涵性、有效性、一致性、时效性、可用性和质量维度。2.2狭义的数据治理狭义的数据治理的驱动力最早源自两个方面:1)内部风险管理的需要,包括:财务做假、敏感数据涉密、数据质量差影响关键决策等。2)为了满足外部监管和合规的需要,比如萨班斯-奥克斯利法案、巴塞尔I/巴塞尔协议、健康保险流通与责任法案(HIPAA)等。但随着全球越来越多的企业了解到信息资产的重要性和价值,在过去几年中,数据治理的目标也在发生些转变。除满足监管和风险管理外,如何通过数据治理来创建业务价值备受关注。2.3广义的数据治理广义的数据治理是对数据资产管理行使权力和控制的活动集合(规划、监控和执行),指导其他数据管理职能如何执行,在高层次上执行数据管理制度。组织为实现数据资产价值最大化所开展的一系列持续工作过程,明确数据相关方的责权、协调数据相关方达成数据利益一致、促进数据相关方采取联合数据行动,数据治理与数据管理的关系如下图所示:
图1.数据治理与数据管理关系数据治理的全过程:从范围来讲,数据治理涵盖了从前端事务处理系统、后段业务数据库到终端的数据分析,从源头到终端再回到源头形成一个闭环负反馈系统(控制理论中趋稳的系统),从目的来讲,数据治理就是对数据的获取、处理、使用进行监督(监管就是我们在执行层面对信息系统的负反馈),而监管的职能主要通过五个方面的执行力来保证——发现、监督、控制、沟通、整合。数据治理的目标:共同保证“正确的信息,以正确的形式,在正确的时候,交付给正确的人”。2.4数据治理的重要性高质量的数据对任何企业都是战略性资产,随着企业推进数字化转型的进程,有效数据正迅速成为一个关键的业务差异,但要使数据具有价值,需确保数据的可信任、安全性、可访问性、准确性、共享性和及时性。数据治理有助于增强企业灵活性以最小化决策相关成本和风险,特别在数字经济中,数据治理比以往任何时候都显得尤为重要。缺乏企业高层领导的支持、系统间的数据壁垒和整个治理项目缺乏明确的流程和数据模板、数据所有权和问责机制不清等因素是导致项目失败或者治理结果不理想的主要原因。涉及到企业中所有跨功能和跨业务的决策机制。数据治理具有战略性、长期性、艰巨性、系统性、持续企业内部数据环境优化治理工作,因此数据治理是一个漫长而持续的过程,没有一针顶破天的诀窍,也没有立竿见影的捷径,要避免对数据治理工作粗浅的认识。三数据资源管理(DRM,Data Resource Management)数据资源管理(Data Resource Management)是应用数据库管理、数据仓库等信息系统技术和其他数据管理工具,完成组织数据资源管理任务,满足企业信息需求的管理活动。数据资源管理(Data Resource Management)是应用信息技术和软件工具完成组织数据资源管理采用文件处理方法,在这种方法中,数据根据特定的组织应用程序的处理要求被组织成特定的数据记录文件,只能以特定的方式进行访问。这种方法在为现代企业提供流程管理、组织管理信息时显得过于麻烦,成本过高并且不够灵活。因此出现了数据库管理办法,它可以解决文件处理系统存在的问题。全业务域数据资源中心为企业提供完整的数据中心解决方案,提升企业管理和运营效率,实现数据采集管理、标准规范管理、元数据管理、主数据管理、数据协同与追溯管理、调度管理,数据反捕、BI决策分析等,通过体系化的数据资源管理中心的建设,可有效打通企业内部之间的数据流通渠道,解决企业管理信息化在数据层面的核心问题,形成横向集成、纵向贯通的高效、有序的信息流,发挥数据信息的基础支撑作用,满足企业对信息和数据的需求,帮助企业解决数据集成和共享、盘活数据资产和有效规避信息孤岛等问题。四数据资产与数据资产管理(DAM,Data Asset Management)4.1数据资产的定义数据资产(Data Asset)是指由企业拥有或者控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料、电子数据等。在企业中,并非所有的数据都构成数据资产,数据资产是能够为企业产生价值的数据资源。4.2数据资产的属性数据资产具有无形资产的属性,从这个角度出发,我们可以发现数据资产主要有以下特性:无消耗性、增值性、依附性、价值易变性、战略性。无消耗性:数据资产的每次使用只需要花费很低的成本,不会因为使用频率的增加而磨损、消耗,与其他传统无形资产有相似性。增值性:企业通过稳定发展,会促使数据资产在原有的基础上,数据规模和数据维度的不断积累,整体价值进一步提升。依附性:与其他无形资产类似,数据资产不能独立发挥作用,其发挥作用和效应往往依附于相应的软件、硬件。价值易变性:数据资产时刻受到数据容量、数据时效程度、应用场景等因素的影响,与其他无形资产相比,其价值更易发生变化。战略性:一切数据业务化,一切业务数据化,具有战略性。4.3数据资产管理数据资产管理(Data Asset Management)是指规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。数据资产管理需要充分融合业务、技术和管理,以确保数据资产保值增值。数据资产管理(Data Asset Management)一般来说包括统筹规划、管理实施、稽核检查和资产运营四个主要阶段,贯穿数据采集、存储、应用和销毁整个生命周期全过程。企业管理数据资产就是对数据进行全生命周期的资产化管理,促进数据在“内增值,外增效”两方面的价值变现,同时控制数据在整个管理流程中的成本消耗。
图2.数据资产管理过程数据资产管理(Data Asset Management)包括两个重要方面,一是数据资产管理的核心管理职能;二是确保这些管理职能落地实施的保障措施,包括战略规划、组织架构、制度体系等。五数据管理、数据资源管理与数据资产管理内涵的演进数据管理、数据资源管理与数据资产管理有着密切关系和关联,但随着现代数字技术的高速发展,三者在内涵、侧重、延伸等方面存在差异。
图3.数据管理、数据资源管理与数据资产管理的关系5.1数据资产内涵在数据资产化的大背景下,数据资产管理是在数据管理基础上的进一步发展,可以视作数据管理的升级版,主要区别在以下三个方面:一是数据管理的视角不同,数据资产管理强调数据是一种资产,基于数据资产的价值、成本、收益开展全生命周期的管理。二是管理职能有所不同,数据资产管理包含数据模型、元数据、数据质量、参考数据和主数据、数据安全等传统数据管理职能,同时整合数据架构、数据存储与操作等内容,将数据标准管理纳入管理职能,并针对当下应用场景、平台建设情况,增加了数据价值管理职能。三是管理要求有所升级,在“数据资源管理转向数据资产管理”的理念影响下,相应的组织架构和管理制度也有所变化,需要有更专业的管理队伍和更细致的管理制度来确保数据资产管理的流程性、安全性和有效性。5.2三者的关系数据管理指利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程。数据管理目标:在于充分有效地发挥数据的作用。数据资源管理致力于发展处理企业数据生命周期的适当的建构、策略、实践和程序。数据资源目标:去寻找手段,以有效的控制数据资源,并提升数据资源的利用率。数据资产管理的核心思路是把数据对象作为一种全新的资产形态,并且以资产管理的标准和要求来加强相关体制和手段。从经济角度,满足对资产运营的各类管理要求。5.3数据资产管理三个关键变革数据与企业设备、软件、人才一样成为企业的重要资产,可以从多个角度和多个层面为企业带来价值收益。数据资产管理除了包含传统以数据质量提升为目标的数据治理外,还包括挖掘数据价值的数据运营。数据资产管理不能仅仅依靠信息部门开展,需要企业自上而下各个部门之间的分工协作。结论本文对数据、数据管理、数据治理、数据资源管理、数据资产管理等内涵作了详细说明,便于读者更好的理解和掌握数据领域相关概念,最后总结两点:一、数据资源将成为战略资产,而有效的数据治理才是数据资产形成的必要条件。二、有效的数据治理是一个持续性的过程,也是逐步实现数据价值的过程。所以数据治理是企业信息化的基石,数据资产是企业战略发展的核心价值,数据管理为企业赋能。(鸣谢:蔡春久先生给予专业指导)参考文献[1].国家标准GB/T36073-2018《数据管理能力成熟度评估模型》[2].中国信息通信研究院云计算与大数据研究所CCSA TC601大数据技术标准推进委员会《数据资产管理实践白皮书(4.0)》[3].《The DAMA Guide to the Data Management Body of Knowledge》[4]. Boris Otto《Data Governance》[5]. Weber K, Otto B, Oterle H (2009).《One Size Does Not Fit All---A Contingency Approach to Data Governance》[6]. Khatri V, Brown CV (2010).《Designing data governance》[7].《论金融机构金融风险管理中的数据治理》[8].《Building the data warehouse》 W. H. Inmon[9].《The DGI Data Governance Framework》[10].《数据资产管理》高伟 机械工业出版社[11].James A.O'Brien & George M.Marakas(李红、姚忠译).Manngement Information Systems(管理信息系统) 人民邮电出版社,2007(欢迎大家加入知识星球获取更多资讯。)
联系我们