欧洲杯下注

-->
大数据治理:数据问题的全面解决之道
文立木 2019-12-20 人民邮电报
分享:


图1 DAMA数据管理职能框架


图2 典型的欧洲杯下注式数据治理组织架构

当今的大型企业内部分工日趋细化采购 .服务 .市场 .销售 .开发 .支持 .物流 .财务 .人力等各个环节无不每时每刻产生着大量的数据.数据的格式也越来越多样化包括IT系统里存储的结构化 .非结构化数据各样电子文档数据等.与此同时企业管理者对数据的困惑也与日俱增这些数据从哪里来?我们能相信这些数据吗?数据之间有什么样的关系?谁能理解这些数据?

零散化存放是数据问题根源

造成上述情况最根本的原因是:数据零散化存放.大型企业于不同发展阶段会根据业务需求建设很多内部IT支撑系统比如ERP(企业资源计划)系统 .CRM(客户服务管理)系统 .财务管理系统等这些系统的分散建设数据割裂造成了数据零散化存放的现状.

基于数据作分析首先需要数据的聚合但由于生产系统和数据的离散化造成了数据标准 .数据模型不统1因而企业最需要做的就是对数据整合和标准化.

大数据治理带来全面解决之道

大数据治理是诸多数据问题的全面解决之道.根据DAMA(国际数据管理协会)的定义数据治理(DGData Governance)是指对数据资产的管理活动行使权力和控制的活动集合(规划 .监控和执行).作为DAMA数据管理职能框架(图1)的10项职能之1起着指导其他数据管理职能如何执行的作用它通过制定正确的政策 .操作规程确保以正确的方式对数据和信息进行管理.

大数据治理即基于大数据的数据治理.大数据1般指符合4V特征的数据包括社交数据 .机器数据等大数据对传统数据治理工作带来很多的扩展于政策/流程上大数据治理应覆盖大数据的获取 .处理 .存储 .安全等环节需要为大数据设置数据管理专员制度;需考虑大数据与主数据管理能力的集成需要对大数据做定义统1主数据标准;于数据生命周期管理各阶段如数据存储 .保留 .归档 .处置时要考虑大数据保存时间与存储空间的平衡大数据量大因此应识别对业务有关键影响的数据块素检查和保证数据质量.此外于隐私方面应考虑社交数据的隐私保护需求制定相应政策还要将大数据治理与企业内外部风险管控需求建立联系.

大数据治理的商业价值

企业只有建立了完整的大数据治理体系保证数据的质量才能够真正有效地挖掘企业内部的数据价值对外提高竞争力.

首先高质量数据是企业业务创新 .管理决策的基础.随着互联网企业对其他各行业的冲击加剧了市场的竞争许多企业面临收入增速放缓 .利润空间逐步缩小的局面过去单纯的外延式增长已经难以为继.因此必须向外延与内涵相结合的增长方式转变未来效益的提升很大程度上要依靠企业的内部挖潜实现这从客观上对企业的创新能力提出了更高的要求而提升企业内部数据管理的精细化水平是企业开展业务创新和管理决策的重要基.芄晃笠荡丛炀薮笮б.

其次标准化的数据是优化商业模式 .指导生产经营的前提.许多企业的 IT 系统经历了数据量高速膨胀的时期这些海量的 .分散于不同角落的数据导致了数据资源利用的复杂性和管理的高难度形成了1个个系统竖井.系统之间的关系 .标准化数据从哪里获萡嘉薮又ü葜卫砉ぷ骺梢远苑稚⒂诟飨低持械氖萏峁1套统1的数据命名 .数据定义 .数据类型 .赋值规则等的定义基准通过数据标准化可以防止数据的混乱使用确保数据的正确性及质量并可以优化商业模式指导企业生产经营工作.

最后多角度 .全方位的数据是企业开展市场营销 .争夺客户资源的关键.数据已成为企业最核心的隐形财富谁掌握了准确的数据谁就能获得先机于当前竞争日益激烈的市场上企业如何于不同的细分市场构建客户画像 .开展精准营销如何选择竞争策略 .进行经营管理决策都必须基于360度全方位 .准确的客户数据加以分析判断才能得出.

大数据治理的5个核心要素

1.明确数据治理责任建立数据治理组织

数据出了问题到底是谁的责任?因为数据主要是IT系统产生的所以1直以来解决数据问题都被认为是IT部门的职责.而IT部门也饱受其苦数据定义和业务规则业务部门最清楚;数据录入业务人员负责;数据使用业务人员是用户;数据考核业务部门有权力……但实际上要切实解决数据问题开展数据治理工作就必须先清楚1点:数据治理是业务部门和IT部门共同的职责.

图2是典型的欧洲杯下注式数据治理组织架构数据治理/管理领导小组设于信息化领导小组之下可以单设也可以是信息化领导小组的1个职责而虚框中的数据治理部门可能是实体部门也可能是由牵头业务部门和IT部门联合组成的虚拟团队. 

值得1提的是越来越多的企业开始重视数据治理工作1些企业高管团队中也产生了1个全新的职位——首席数据官(CDO)是组织内大数据战略的制定者和推动者负责组织内数据资产的开发和利用通过数据推动组织业务的创新和发展通常直接汇报给CEO或CIO.

2.管理出成效制度是保障

大数据治理需要管理和制度的有力支撑可结合企业的现状制定相应的管理办法 .管理流程 .认责体系 .人员角色和岗位职责等颁布相关的数据治理的企业规章制度等.

举个例子于笔者负责过的1个数据治理项目中为了加强数据保密管理根据重要程度 .公开范围 .数据使用频次和数据安全要求针对数据制定了4个重要级别:极敏感级 .敏感级 .较敏感级 .低敏感级并根据不同级别实施相应的管理举措级别越高数据管理的要求越高.

3.数据规范:没有规矩不成方圆

数据规范是指对企业核心数据进行有关存于性 .完整性 .质量及归档的测量标准为评估企业数据质量并且为手动录入 .设计数据加载程序 .更新信息以及开发应用软件提供的约束性规则数据规范1般包括数据标准 .数据模型 .业务规则 .块数据 .主数据和参考数据.

制定数据标准的目的是为了使业务人员 .技术人员于提到同1个指标 .名词 .术语的时候有1致的含义.数据模型对企业运营过程中涉及的业务概念和逻辑规则进行统1定义.业务规则是1种资深性原则或指导方针用来描述业务交互并建立行动和数据行为结果及完整性的规则.块数据能够帮助增强数据理解可以架起企业内业务与 IT 部门之间的桥梁.主数据用来描述参与组织业务的人员 .地点和事物.参考数据是系统 .应用软件 .数据库 .流程 .报告中及交易记录中用来参考的数值集合或分类表.

4.数据治理活动理论结合实践

数据治理活动是指为实现数据资产价值的获取 .控制 .保护 .交付以及提升对数据规范所做的计划 .执行和监督工作1般包括以下活动.

数据架构管理用于定义企业数据需求设计实现数据需求的主要蓝图通常包括数据标准管理 .数据模型管理 .数据集成架构等;数据质量管理指通过计划 .实施和控制活动运用质量管理技术度量 .评估 .改进和保证数据的恰当使用;块数据管理指通过计划 .实施和控制活动以实现轻松访问高质量和整合的块数据;数据安全管理指通过计划 .制定并执行数据安全政策和措施为数据和信息提供适当的认证 .授权 .访问和审计;参考数据和主数据管理指通过计划 .实施和控制活动达到保证参考数据与主数据的1致性.

5.数据治理软件:工欲善其事必先利其器

目前业界流行的数据治理软件1般也称为数据资产管理产品 .数据治理产品主要包括的功能组件有块数据管理工具 .数据标准管理工具 .数据模型管理工具 .数据质量管理工具 .主数据管理工具 .数据安全管理工具等.

利用数据治理软件主要解决企业不同来源数据集成过程中遇到的问题需要数据治理软件能够为企业提供统1的块数据集成 .数据标准管理 .数据模型设计 .数据质量稽核 .数据资产目录 .数据分析服务等能力.

结语

基于大数据的人工智能时代的到来为各行业带来基于数据资产进行业务创新 .管理创新的契机伴随着企业数字化转型过程越来越多的数据被收集大数据治理将为企业提供更全面更准确的数据届时人类的大部分行为将可以被计算和预测这种对社会成员的行为逻辑 .社会事件的发展态势提前作出判断 .预测和模拟将使社会治理模式得到极大变革从而极可能推动社会治理也由传统的人类精英经验治理向基于大数据的智能化治理转型.

      1. 欧洲杯下注