RFID世界网 > 技术文章 > 其他 > 正文

关于大数据治理的研究与分析

作者：胡志伟

来源：《物联网世界》

日期：2014-11-10 10:58:07

摘要：数据治理是专注于将数据作为企业的商业资产进行应用和管理的一套管理机制，能够消除数据的不一致性，建立规范的数据应用标准，提高组织数据质量，实现数据广泛共享，并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中，发挥数据资产的商业价值。同时，数据治理将帮助组织更好的遵从内外部有关数据使用和管理的监管法规。良好的数据治理必将为信息化时代的企业带来不可替代的竞争优势。

关键词：物联网世界杂志大数据数据源数据治理

　　1数据治理的背景和现状

　　1.1数据治理背景

　　随着网络和信息技术的不断普及，人类产生的数据量正在呈指数级增长。大约每两年翻一番，根据监测，这个速度在2020 年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。

　　大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长。信息数据的单位由TB-PB-EB-ZB的级别暴增。这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴。如何管理和使用这些数据，逐渐成为一个新的领域，于是大数据的概念应运而生。

图1　数据治理背景图

　　1.2数据治理现状

　　大数据的快速发展，使它成为IT领域的又一大新兴产业。据中央财经大学中国经济管理研究院博士张永力估算，国外大数据行业约有1000亿美元的市场，而且每年都以10%的速度在增长，增速是软件行业的两倍。我国2012年大数据市场规模大约4.7亿元，2013年增速将达到138%，达到11.2亿元，产业发展潜力非常巨大。我国大数据飞速发展的背后存在诸多的问题：相关利益交织，协调难;方案规划容易，落地困难;过度依赖技术工具;对于数据没有明确区分。

图2　数据现状分析图

　　2数据治理策略

　　2.1数据治理要素

图3　数据治理要素分析图

　　2.2数据治理策略

　　第一步：落实合适的人员负责治理。

　　任何成功的数据治理计划的第一个步骤就是，要在本企业找到CEO可以授权的人，然后让该人负责项目的具体实施。没有什么能取代强有力的领导人。

　　数据治理是涉及人事的一个难题，这需要在许多不同的利益相关者之间达成共识。因而，在本企业里面选定这样的领导人是一项重要工作。治理官员一旦选定下来，就要成立由企业的利益相关者组成的治理委员会，制订监管政策、向CEO及董事会报告进度。

　　第二步：调查清楚所处环境。

　　一旦选定了领导小组，就要调查当前情形，并清查不同部门在不同领域的当前最佳实践。领导小组需要越过独立系统看待问题，而企业数据治理评估方法对这项工作来说必不可少。这有助于比较本企业的数据治理计划目前处于什么状态，并且提供了一份路线图以便确定以后的目标。

　　第三步：制订数据治理策略。

　　数据治理评估之后，治理委员会就应当考虑制订远景，希望公司的数据治理实践在接下来的几年达到何种目标，根据这种需求为未来制订远景。委员会应当向后规划，并且制订切合实际的里程碑和项目计划来填补相关的缺口。具体办法就是制订关键绩效指标来跟踪进度，并且向CEO和董事会提交年度报告来证实成果。

　　第四步：算出数据价值。

　　估算数据价值。要是公司不知道数据的价值，它们就无法提高、保护或者评估数据对账本底线的价值。数据不是一种普通商品，而是像水龙头里出来的水--对生命至关重要，又往往被人们认为是理所当然的。你要是不知道某物的价格，就无法算出它的价值。

　　如果你想算出数据的价值，就要根据用户权限和IT服务的效用，为数据建立内部市场。当本企业的每个人都在直接付费获取IT服务和数据时，数据的价值就成了公司价目表上的一部分。

　　第五步：算出风险概率。

　　知道数据在过去是如何使用和滥用的，这有助于了解数据在将来会如何被危及和披露。每家企业都有一些原因，如一些事件和损失在独立系统、层次体系和商业报告中消失。这些数据已经可供使用，却没有被大多数企业所使用。收集这些数据，与其意义联系起来，并研究长期的损失趋势，这可以帮助任何企业把风险管理转变成基于事实的商业智能方法，从而可分析过去事件，预测未来损失，改变当前的政策要求，成为未来改善风险缓解策略。

　　第六步：密切关注控制措施的效果。

　　数据治理在很大程度上涉及企业的组织行为。企业每天在变化，因而它们的数据、价值及风险也在迅速变化。遗憾的是，大多数企业每年对自己只评估一次。要是公司无法改变组织控制措施来满足每天或者每周出现的需求，也就谈不上变化治理。

图4　数据治理实施建议图

　　3元数据管理

　　3.1元数据的定义

　　技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息：数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据的定义，以及数据集市的位置和内容;业务系统、数据仓库和数据集市的体系结构和模式;

　　业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名;访问数据的原则和数据的来源;系统所提供的分析方法以及公式和报表的信息;具体包括以下信息：企业概念模型：这是业务元数据所应提供的重要的信息，它表示企业数据模型的高层信息、整个企业的业务概念和相互关系。

　　3.2为什么要进行元数据管理