企业数据治理

      企业数智化道路是一条漫长的路,它要经历自动化-数字化-智能化三个阶段;我们企业属于初级阶段,为了达到数据决策的目的需对数据治理,管理数据质量。以下是我总结数据治理的相关内容:

一、项目背景

1.1为什么要数据治理

       数据治理的原因非常多,工作经常会出现因为数据不正确或者数据样本太少的原因无法进行运营决策。我在这列举几个要数据治理的原因:

1、数据缺失,缺少业务系统支持,较多重复数据;

2、多个业务系统孤岛,数据无法交换流通;

3、数据口径不一致,指标口径不统一,造成理解歧义;

4、数据质量低,无法用于数据决策;

5、...

1.2数据治理的现状

        企业现在分为多个系统(ERP、MES、B2B电商平台、C2B、CRM、固定资产管理、HR等),系统互相独立 , 无数据流通;近期进行数据治理组建大数据中心,数据治理期间遇见如下问题:

1、数据标准不统一,比如编码规则无统一标准,出现同一企业多套编码或通一个物品多套编码等问题;

2、数据描述不一致,不完整;

3、数据类型不匹配与数据超出值域范围。

4、...

二、数据治理目标

1、数据服务:解决已有数据质量问题:彻底清洗存量数据;

2、数据流通:完善数据交换架构:彻底打通数据孤岛;

3、数据洞察:帮助业务人员、数据分析人员、决策人员更好地理解数据,实现数据洞察。

三、数据治理架构

四、数据治理流程

五、数据治理的7个步骤

5.1项目启动

1、明确数据治理目标;

2、整理数据收集清单。

5.2项目调研

1、调研数据管理现状;

2、调研现有的数据标准(数据类型、数据现状、交换现状等);

3、收集数据资料:历史数据及数据分类、编码结构、管理制度、流程、属性等;

4、整理数据治理总体架构、流程;

5、评估数据治理工作量、调研数据模型、整理历史数据、数据审验、完善历史数据及数据的映射关系;

6、调研数据分发、确定系统传输内容与接口规则;

7、输出调研方案及项目实施方案。

5.3制定标准体系

5.3.1制定标准体系的步骤

1、确定企业的数据编码结构;

2、规范现有的数据类别;

3、建立数据模型体系;

4、确定数据管理制度、组织、流程、质量、安全体系;

5.3.2如何建立数据模型体系

      在这里我重点说一下建立数据模型体系,数据模型体系包括:编码体系(指编码规则)、分类体系(指分类结构)、信息模型体系。
①信息模型体系包括:客户数据模型、供应商数据模型、物品数据模型、交易数据模型等;
②每一类模型又可分为编码属性、其他公有属性(基础属性和业务属性)和私有属性(分业务系统和组织机构两个角度)。
③某企业供应商数据模型体系示例:

5.4 存量数据清洗

1、制定《历史数据清洗方案》;

2、建立历史数据清洗规则;

3、历史数据清洗及映射;

4、冗余数据处理;

① 使用逐渐停用的方法;

② 利用映射关系进行自动转换数据;

5.5 系统集成

1、分析综合管理系统的数据结构,整理出需要同步的数据结构,整理出需要同步的数据字段、视图、映射表等,并形成《数据交换标准规范》文档。

2、根据企业要求配置适合的接口,以达到不同的IT系统及时同步不同的所需数据信息。

3、分析、开发、配置并测试数据传输和转换接口。

5.6 系统上线

1、系统上线前培训;

2、上线试运行;

3、收集反馈意见整合整改意见进行后期整改;

4、项目进行验收。

5.7 运营管理

1、运维管理可视化;

2、实时监控数据质量;

3、完善数据管理体系。

六、数据治理平台功能

七、总结

1、企业数据治理并不是一朝一夕就能完成的,是企业未来发展长久的过程,这个工作是一直存在的。

2、企业数据治理一定要在领导的重视下启动,每个企业数据治理的目标不一样,所以治理的路径会有所不同;我所在的公司目标就是汇总所有业务数据,实现对实时数据的监控及预测未来企业发展。

3、企业数据治理平台包含范围元数据管理、数据质量、数据开发、数据安全、数据价值、数据组织等范围,及后期实施与评估,遵循数据安全性、开放性、具有价值、有效性等原则。

4、完成数据治理平台后一定要对其进行监控,有效的数据洞察。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,761评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,953评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,998评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,248评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,130评论 4 356
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,145评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,550评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,236评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,510评论 1 291
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,601评论 2 310
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,376评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,247评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,613评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,911评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,191评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,532评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,739评论 2 335