搜索
大数据中国 首页 大数据技术 数据处理 查看内容
数字化转型助推,200亿元数据治理市场空间充满想象
2021-5-18 14:32 | 查看: 5064| 评论: 0
在目前各行业数字化转型的大背景下,数据治理工作一般是伴随着数据平台的建设以及运营的过程展开的。基于IDC数据,结合对行业专家的调研,爱分析预计到2023年,中国的数据治理市场规模将达到200亿元人民币。当前数据治理市场玩家众多,但能力与服务趋同和单一,市场供应分散,能够通过将管理方法论进行实践,并进一步沉淀为产品,从而提升规模化部署和落地的厂商凤毛麟角

当前,各行各业广泛开展了数据湖、数据中台以及大数据中心等建设项目,通过这些项目能够实现降本增效以及监管合规等业务价值。

不过,在这一过程中,企业也面临过去二三十年间存量信息系统和存量数据资产等庞大的数据源,这些数据普遍存在着不可理解、不规范、不一致和不准确等问题,制约了数据价值的发挥。数据治理为这些问题提供了解决方案,数据治理作为一项基础工作获得越来越多企业重视,成为企业的普遍实践。

从企业对数据服务的需求看,过去二三十年,中国数据行业经历了从点到面,从应用到底层治理的历程:从最初注重数据生成,到数据分析,再到以中台化为特征的平台化融通,目前数据应用已高度繁荣。

数据应用繁荣发展的同时,也让企业看到包括数据质量等数据底层的问题,亟需通过数据治理解决,中国的数据治理行业起飞的时机已经到来。

与此同时,从国外的经验看,过去两三年来,数据治理和数据管理领域的融资并购明显加速。2019年4月,总部位于美国加州的数据管理平台Segment 宣布获得1.75亿美元融资,融资后估值为15亿美元;2020年1月,总部位于加州的专注于数据安全治理领域的厂商Securiti.ai 宣布获得5亿美元融资。

数据治理的具体内容包罗万象,同时,涉及的厂商纷繁复杂,包括传统IT集成商、咨询公司和数据中台厂商等。数据治理市场该如何界定?是否会发展成一个独立市场?未来的市场空间如何?基于行业研究,以及对行业代表企业的深入访谈,爱分析将通过本文对这些问题作出详细解答。

01 数据治理伴随数据平台建设和运营过程展开

在目前各行业数字化转型的大背景下,数据治理工作是伴随着数据平台的建设以及运营过程而展开的。如下图所示,在企业展开的大数据平台建设和应用开发项目中,具体内容一般包括咨询规划和具体建设两个部分。

其中,咨询规划环节包括三个方面:第一是数据平台本身的规划,包括数据库架构、数据模型、技术组件和数据加工逻辑等规划工作;第二是上层应用规划,如精准营销和智能风控等智能化应用的规划工作;第三是数据治理规划。

由此可见,数据治理工作属于数据平台建设和运营中的一个环节,数据治理落地既需要企业自己运营,同时需要融入其他工作的过程中。具体来看,数据治理的落地工作包括两个方面:数据治理的管理落地以及数据治理的技术落地。

数据治理的管理落地,包括组织、制度、标准和规则等内容,会融入到数据平台与上层应用的建设与运维过程中,对后者进行指导和约束;而数据治理的技术落地,则会有一套数据治理平台,如数据质量管理平台和数据标准管理平台等,支撑数据治理的管理落地和常态运营。

另一方面,在面向组织全域数据环境时,数据治理工作则不限于数据平台建设和运营过程,还包括面向源端业务系统、生产系统以及对外数据合作相关的数据平台。

数据治理是指企业为实现数据资产价值最大化所开展的一系列持续工作过程,目标是明确数据相关方的责权、协调数据相关方达成数据利益的一致以及促进数据相关方采取联合数据行动。具体来看,数据治理包括数据质量管理、元数据管理、数据标准管理、主数据管理、数据架构管理和数据安全管理,同时还包括数据管理相关的组织与制度。

作为“舶来品”,数据治理概念在中国经历了与本地文化落地融合的过程。根据DAMA 国际数据管理协会的定义,在国外,数据治理一般仅包括目标、原则、组织、制度、流程等软性要求,属于数据治理的“狭义”范畴。而在中国,则将数据架构、数据标准、数据质量和数据安全等一系列数据管理活动纳入数据治理的范畴,属于“广义”层面的数据治理。

02 数字化转型加快,数据治理建设迈入第四阶段

数据治理在中国已经历了早期的数仓建设以及监管政策驱动的第一和第二阶段,还经历了近年来大数据平台以及数据中台等建设项目驱动的第三阶段。在数字化转型战略的推动下,中国的数据治理正进入决策层牵头建设的第四阶段。

1)第一阶段:2005-2009年

2005年左右,早期的数据仓库建设在中国兴起,一开始主要由商业银行、通信运营商主导,随后能源等行业企业加入。商业银行通过与埃森哲、IBM等国外IT咨询公司合作,最早将数据治理的概念在中国予以实践。

数据仓库建设涉及从不同来源的平台中抽取数据并进行整合,在这一过程中,需要确保数据质量,包括数据口径、数据标准和数据模型统一等。通过数据治理,建立起数据标准、数据模型等管理体系,能够提升数据质量,确保数据仓库建设顺利推进,进而能够更好支撑起BI等数据分析型应用。

这一阶段,不同行业开展数据治理工作的路径并不相同。由于监管要求和对于管理咨询理念接受度较高,商业银行的数据治理工作一般是在数据仓库建设之前或者建设过程中展开;而通信和能源行业企业则更加重视数据仓库平台本身建设,数据治理是在平台建设之后展开, 如中国移动的数据仓库建设始于2004年,而元数据管理规范则于2006年才正式推出。

这一阶段的数据治理一般由IT部门和信息化部门牵头,IT人员承担数据治理的主要职责,业务部门很少参与。

2)第二阶段:2010-2014年

这一阶段的数据治理的需求主要集中于银行业,主要由监管政策驱动。巴塞尔委员会于2010年底发布《第三版巴塞尔协议》,从技术层面对于银行在数据的使用、积累和管理等方面提出了要求。

为了推动中国银行参与到国际清算体系中,银监会开始在国内推广《巴塞尔协议》。早在2009年,银监会就针对数据标准和数据治理这一话题进行了行业性研究,随后于2011年推出《银行监管统计数据质量管理良好标准》。该标准从组织机构及人员,制度建设,系统保障和数据标准,数据质量的监控、检查与评价以及数据的报送、应用和存储五大方面对银行数据治理提出要求。

随着银监会出台相关的数据治理监管政策,银行业对数据治理演化成全行业的需求。不过,这一阶段的数据治理仍主要由IT部门牵头,业务部门参与有限。

3)第三阶段:2015-2018年

随着企业业务在线化以及“互联网+”等战略的深化,企业内部产生了海量的数据,并产生了充分利用数据并挖掘数据价值的需求。在这一背景下,2015年左右,企业兴起了大数据平台建设。

不过,囿于企业内部项目推进以及数据结构复杂等多种因素,大部分企业所展开的数据湖等大数据平台建设项目一开始效果不尽人意,其中一个重要原因是数据管理方面存在问题。这引起了行业性的反思,企业希望通过加强数据治理,提升大数据平台建设的效果。

进入2018年,数据中台概念流行,企业纷纷推出数据中台项目。作为一种组织架构,数据中台概念所包含的统一数据资产管理、统一元数据管理等内容与数据治理的理念不谋而合。随着数据中台项目的推进,数据作为一种资产的理念开始被企业广泛接受,推动了数据治理的进一步发展。

在这一阶段,越来越多的企业开始搭建数据治理的专职团队以及数据治理相关部门,数据治理不再仅是IT部门的工作,业务部门开始参与进来。在此过程中,数据治理的实践仍存在一个误区——只在数据中台内部开展数据治理,而对源端业务系统的数据治理关注不足、推动不利,这也造成数据中台的局部治理并不能保证企业持续不断得到高质量数据。

4)第四阶段:2019年-至今

在大数据平台和数据中台持续建设的同时,2019年以来,企业数字化转型进入快车道。数字化转型强调从企业全局出发进行战略统筹,一般由企业最高管理层直接负责推动,数据治理真正第一次进入到了企业决策者的视野。

在这一阶段,数据治理已内化成为企业机制建设的一部分,如2020年9月,国资委发布的《关于加快推进国有企业数字化转型工作的通知》,针对央企数字化转型工作,明确提出构建数据治理体系的要求。

在包括金融、通信、能源等数据治理开展相对成熟的行业,大多数企业都已设置数据治理(数据资产管理)的专职部门和岗位,而且越是数据治理成熟的企业,专职部门越是靠近业务侧,且专职部门级别越高。

从以上数据治理历经的四个阶段可以看出,数据治理工作是随着数据应用的深化而逐步推进的。总体来看,当前大部分企业已经认识到数据治理的重要性,并已普遍开展了数据治理工作。根据御数坊于2021年初发布的《企业数据治理现状调查报告》,在参与调查的近600家企业中, 88%表示已展开了数据治理工作。

免责声明: 除非特别声明,文章均为投稿或网络转载,仅代表作者观点,与大数据中国网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。如果本文内容有侵犯你的权益,请发送信息至ab12-120@163.com,我们会及时删除
12下一页

最新评论

关闭

站长推荐上一条 /1 下一条

大数据中国微信

QQ   

版权所有: Discuz! © 2001-2013 大数据.

GMT+8, 2024-11-21 17:44 , Processed in 0.175167 second(s), 23 queries .

返回顶部