数据治理及资产运营框架结构

略去大数据分析背景与价值部分,言简意赅的介绍如何进行数据资产管理运营。

数据资产管理运营 = 数据资产盘点 + 数据治理 + 数据价值实现

管理和运营是一个全流程的事情,首先我们需要知道我们有哪些数据(盘点),转化为能够发挥价值的数据资产(治理),再实现数据应用层面的价值(价值实现),也就是最终要能指导业务产出价值。


数据资产盘点

1.数据源

内部源数据(业务数据,管理数据,IT方面的OA数据/系统监控数据)+ 外部数据(第三方数据,互联网爬取的数据)

---------  经过数据交换  ---------

ODS贴源层 :和源系统保持一致,可能会做一些数据标准化/数据清洗,如果源系统没法改造的话,需要在这一步对数据进行标准化改造,确保到数仓层面是符合标准的。

数仓层面:按主题进行构建(比如产品,客户,机构主题),加工(进行反范式,标准化等 )

一般数仓分为贴源层、标准化层、汇总层、指标层、集市层(关于数据仓库和数据集市在本篇不详细展开介绍)

数据集市:针对具体应用,高并发数据查询,把数仓层面加工完之后的数据导出到数据集市,便于进行小规模的应用

-----(上述结构化数据)-----

半结构化数据 (例如 日志文件)

非结构化数据 (例如 音频视频 邮件 (所以要引入 hadoop spark框架))   

--------- (构建成了) =  --------

大数据平台

2.数据分级分类

在完成了数据梳理,了解数据分布后,同时要明确保密和敏感数据的分布情况。

数据分类:依据数据的来源、内容和用途对数据进行分类。

数据分级:根据已分类的数据资产由业务部门根据数据的价值、敏感程度、影响范围进行敏感分级,将分类的数据资产划分公开、内部、敏感等不同的敏感级别。

3.数据认责

完成数据梳理与分级分类后,针对数据的归属权需要进行确认,有利于之后的权限梳理以及数据治理和运营。

4.数据权限梳理

主要涉及到访问控制以及对于敏感信息的保护,例如身份证号手机号脱敏等等,此处需要结合数据分级分类数据认责。


数据治理

1.元数据

在表中看到一个数据时,我们仅看到这个数据的值,但是对于这个数据的身份背景从哪里来到哪里去我们都一无所知,所以我们需要元数据。元数据指的是用来描述数据的数据。那我们需要描述哪些方面呢?

业务元数据:是描述数据的业务含义、业务规则等。起码让你知道这一项数据的含义是什么,是通过什么规则运算加工出来的,避免大家各自对数据发挥想象...自说自话。通常包括:业务定义、业务规则、业务指标等。

技术元数据:进行技术定义和描述是为了便于识别数据的存储、传输和交换,常见的技术元数据包括:存储位置、数据模型、字段长度、字段类型、ETL脚本、SQL脚本、接口程序等

管理元数据:描述了数据的管理属性,包括管理部门、管理责任人等。内容主要包括:与元数据管理相关的组织、岗位、职责、流程、项目、版本等。

那有了这些元数据之后我们可以做什么呢?

了解数据来自哪里并经过了哪些加工(血缘分析),数据与其他数据之间的关系(关联度分析),哪些数据是属于企业的常用数据(冷热度分析)等等。

2.数据标准

有了元数据之后,我们还需要制定相应的数据标准,来规范我们对于数据的使用。比如为了支持数据交互,我们需要对格式标准进行定义,为了避免混淆和歧义,需要对数据项名称标准,数据项值的标准进行定义。元数据是数据标准的基础,元数据需要有对应的数据标准。例如业务元数据(增长率),标准应该定义清楚是同比还是环比,例如技术元数据(字段类型),可能每一个数据库制定的表的标准不一样,男女就会出现male/female,1/0...这种情况,则需要我们需要按照一个统一的标准进行定义与输入。

3.数据质量

数据标准则又服务于数据质量,我们进行数据治理的目的也是为了提高数据质量,从而提供更为精准的决策分析数据。数据标准的评价维度示例如下:

数据标准评价指标

一般情况下产生数据质量问题的原因可能是录入错误,需要通过报表核对查出来并进行整改,知道哪些部门的数据质量是怎样的,代码问题 采用了错误的逻辑判断,数据缺失 数据在流转过程中导入导出过程中,由于编码规则不一样导致的数据被丢弃,可以在每个流转环节加入校验机制。

4.主数据

主数据是企业系统间共享性高的数据,跨越各业务部门经常被使用,且相对稳定。常见的主数据有客户、产品、机构人员等。

主数据具备3个主要特征有:

①高价值:主数据是所有业务处理都离不开的实体数据,与大数据相比价值密度非常高。

②高共享:主数据是跨部门、跨系统高度共享的数据。

③相对稳定:与交易数据相比主数据是相对稳定的,变化频率较低。

这些特征同时也反映出来主数据通常存在数据入口众多、重复录入、信息不一致、填写不规范、存在数据孤岛等问题。因为主数据的上述特点,因此管理方式也会有些不同。

通常有3种管理形式:

1.以单独系统进行管理,比如CRM系统就是客户数据的主数据平台,能够保证数据在各个地方交互的时候都是一致的。

2.集中管控 集合客户、产品、等所有主数据,构建主数据平台进行统一维护。方式是通过数据同步机制,将其他各地方比如财务系统的主数据(客户数据)同步到主数据平台。

3.数仓层面  建一个主题 比如客户数据 再同步到源系统  这种方式会比较麻烦。

5.数据安全

数据安全是贯穿数据使用全流程的,尤其在一些数据敏感度高的例如政府、军事、银行等机构,会对数据安全有较高的要求。

数据存储安全:包括物理安全、系统安全存储数据的安全,主要通过安全硬件的采购来保障数据存储安全。

数据传输安全:包括数据的加密和数据网络安全控制,主要通过专业加密软件厂商进行规范设计和安装。

数据使用安全:需要加强从业务系统层面进行控制,规范数据的访问、下载、共享、销毁等过程。


数据价值实现

现在数据已经整整齐齐准备好了,能够通过什么服务实现价值呢?一般可以分为三种。

基础数据服务:查询、多维分析等,以SQL的方式来进行数据获取和指标分析。支持简单的条件查询,数据化运营中的路径分析、漏斗模型等等。

标签画像服务:通过使用标签数据,进行客户画像、精准营销等服务。像是关联分析、RFM模型都是比较常用的模型。

算法模型服务:包括推荐系统、风险控制等,通过将算法模型部署为在线API。这一部分根据行业不同有不同的需求,如投研分析,文本语义分析,交通路线优化等不同场景下的应用。



以上就是关于数据管理的全流程,后续会将其中的单个重要模块展开。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,761评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,953评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,998评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,248评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,130评论 4 356
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,145评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,550评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,236评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,510评论 1 291
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,601评论 2 310
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,376评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,247评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,613评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,911评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,191评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,532评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,739评论 2 335

推荐阅读更多精彩内容