大数据将打开各行各业的数据“潘多拉魔盒”。社交网站、电商巨头、电信运营商乃至农业、医疗、文旅、园区、军营、地产、空域规划、国土规划等行业都将加入大数据的“淘金”热潮，政府部门同样会从大数据中获益匪浅。 如何将海量数据应用于决策、营销和产品创新？如何利用大数据平台优化产品、流程和服务？如何利用大数据更科学地制定公共政策、实现社会治理？所有这一切，都离不开大数据治理。可以说，在大数据战略从顶层设计到底层实现的“落地”过程中，治理是基础，技术是承载，分析是手段，应用是目的。 大数据治理目的 数据治理的目的就是为了解决在海量数据处理过程中可能出现的数据问题。而构建数据治理的相关模型则是为了将数据治理的各环节形成固定化模块操作，保证数据治理各环节都能够得到有效执行。 为什么需要大数据治理框架 大数据的淘金之旅，需要脚踏实地的努力。大数据治理是连接大数据科学和应用的桥梁，若要到这风光无限的大数据彼岸，大数据治理一定是“必修课”之一。——宽带资本董事长田溯宁 大数据治理关乎组织的所有部门和全部流程，贯穿数据的整个生命周期。要打破数据分割的窘境，实现大数据价值的最大化，就要聚合分散孤立、类型各异的大数据集要提高数据的质量，最大限度地使用可信的数据，就需要清洗和净化各种类型的数据，要消除数据风险、保护用户隐私，需要对大数据进行加密和屏蔽······因此需要合理的大数据治理框架。 权威机构的大数据治理框架 近年来数据治理越来越受到国内外研究机构和学者的关注，在数据治理的框架设计等方面均取得了很多研究成果，并在商业、教育、医疗等以数据为核心业务的社会发展领域取得了很好的应用效果。 ＤＡＭＡ（国际数据管理协会）、ＩＳＡＣＡ（国际信息系统审计和控制协会）、ＤＧＩ（国际数据治理研宄所）、ＩＢＭ数据治理委员会和Ｇａｒｔｎｅｒ公司等权威机构均从不同角度给出了数据治理的框架。 ＤＡＭＡ国际数据管理协会 ＤＡＭＡ给出的定义最具有代表性，数据治理包含的要素最为全面，对于企业数据治理体系的建设有一定的指导性。 DGI数据治理框架 DGI框架以一种非常直观的方式，从组织、规则、流程三个层面，总结了数据治理的十大关键要素及十个基本组件的逻辑关系，形成从方法到实施的自成一体的完整系统，创新地提出了DGI数据治理框架。 IBM数据治理框架 IBM在构建数据治理框架方面，提出了数据治理的要素模型，并认为目标或成果是数据治理的最关键命题。 Gartner数据治理与信息管理要素模型 数据治理框架的理解和解读 几家权威机构给出的数据治理框架包括元数据管理、数据质量管理、数据安全管理、数据标准、主数据管理、信息生命周期管理、数据开发等数据治理的内容，以及数据组织架构管理、数据治理流程等数据治理的组织管理与实现。结合目前大数据中80%的数据含有时空属性的因素，以及在时空大数据方面多年的沉淀，以下是景轩信息整理的数据治理框架内容，不足之处希望业内专家指正，期待与您的交流： 组织管理，打通数据治理流程 组织管理，是打通数据治理流程的重要一环，涉及数据管理人员、数据利益相关者、数据访问使用等各部门、单位之间的业务协调，需要IT与业务部门进行协作，而且必须始终如一地进行协作，以改善数据的可靠性和质量，从而为关键业务和管理决策提供支持，并确保遵守法规。 元数据管理，数据治理的核心环节 元数据的管理有着十分重要的作用。通过元数据管理工具将元数据服务提供给所有业务人员，使业务人员也能够快速的从业务角度理解数据，从而帮助业务人员更好的利用数据。同时，通过查询元数据信息可以了解数据在整个生命周期（包含数据的来源、数据修改与删除等）中的来龙去脉，实现高效管理大数据系统中的海量数据信息 元数据管理。大数据治理需要将大数据与企业的元数据库进行整合，将大数据术语纳入业务词库。例如：增加“独立访客”术语，以支持点击流分析。 1. 从Hadoop 中将技术元数据引人元数据库。 2. 确保数据血统（data lineage）管理者能够将数据流从Hadoop 引人技术元数据库。 3. 管理数据血统，并在大数据环境中对分析施加影响。 数据标准，数据治理的成效保障 数据标准的合理性与统一性，决定数据治理的成效。通过时空格网编码的方法建立时空数据的统一标准，结合其他的业务标准共同建立数据治理的标准体系。数据标准适用于业务数据描述、信息管理及应用系统开发，可以作为经营管理中所涉及数据的规范化定义和统一解释，也可作为信息管理的基础，同时也是作为应用系统开发时进行数据定义的依据。企业数据标准体系的建设应既满足当前的实际需求，又能着眼未来与国家及国际的标准接轨。 质量管理，数据治理的成果保障 数据质量管理。大数据质量的管理要实时化，并解决与准结构化和非结构化数据相关的问题。糟糕的数据质量一定会阻碍需要深度商业洞察的分析，因此大数据治理的质量必须“足够好”。 主数据管理，数据治理的主要目标 主数据管理是通过运用相关的流程、技术和解决方案，对企业核心数据的有效管理过程。主数据管理涉及主数据的所有参与方，如用户、应用程序、业务流程等，创建并维护企业核心数据一致性、完整性、关联性和正确性。主数据是企业内外被广泛应用和共享的数据，被誉为是企业数据资产中的“黄金数据”，主数据管理是撬动企业数字化转型的支点，是企业数据治理最核心的部分。 安全管理，数据治理的必要条件 数据安全管理，早在1890 年，路易斯·布兰寻密斯（后成为美国最高法院的法官）和塞缪尔·沃伦，即在《哈佛法学评论》杂志上发表了《隐私权》一文。该论文将隐私定义为“让人独处的权利”。此后，全球各地的规制和立法，对隐私权理论进行了规范和扩展。大数据治理需要识别敏感数据，并制定有关敏感数据的可接受使用的政策。政策需要考虑因大数据类别、产业和国家而异的规制。鉴于有关隐私话题的许多报道引人注目，如果适用的话，大数据治理计划有必要建立与社交媒体和地理位置数据有关的指南。 总结 数据治理需因地制宜，不论建立什么样的数据治理框架体系、采用什么样的数据治理技术，其目的都是实现数据治理目标，即：通过有效的数据资源控制手段，实现对大数据的管理和控制，以提升数据分析的能力、数据应用的深度，进而提升数据变现的能力。因此数据治理体系和框架，只是企业数据治理的一个参考，需根据具体需求进行调整，不能照搬和套用，更不能为了治理而治理。 小编提示 这是一个系列文章，沉淀了景轩信息对数据治理的一些思考，除了本篇数据治理框架的解读，还将从组织管理、元数据管理、数据标准、质量管理、主数据管理、安全管理六大技术模块剖析数据治理的一些技术和方法，以及如何进行数据治理的应用，共8篇高能干货文章，敬请期待！ |
最新评论
最新新闻
/1 
