为什么要在大数据中心实施元数据管理

在数据管理领域,我们一直致力于让数据为我们提供价值,为此我们付出大量的努力和投入。

在过去二十年,各大企业都在着手搭建数据仓库。当我们费尽艰辛搭建好数据仓库并成功用于线上运行时,发现我们将花费更多时间为数据科学家、分析师做数据准备。分析他们的数据需求,提供闪闪发光的数据报表。这将占用数据维护人员 80% 的时间投入,这个投入是偏高的,包含如沟通、反查、校正等大量重复和不必要投入。

如何提升数据管理能力?

我们需要回到这 80% 的投入,想尽一切办法压缩它们,这样才能更快的提供数据服务。这时有种工具呈现出了优势,那就是“元数据”。

元数据,通常的定义为“描述数据的数据”。更准确一点说:元数据是描述流程、信息和对象的数据。这些描述涉及技术属性特征(例如,结构和行为)、业务定义(包括字典和分类法)以及操作特征(如活动指标和使用历史)。

我们用“元数据”去攻击这“80%”。将元数据做集中式管理,梳理元数据树,翻译、标注、补充元数据内容。方便使用者查找数据、理解数据、追踪溯源以及规范专业知识。降低数据准备期间沟通、反查、校正等大量重复和不必要投入,这样我们就可以留下更多的时间进行数据分析,不仅节省大量资金投入,还赚取更多的利润。

[if !supportLineBreakNewLine]

[endif]

以电信运营商为例,通过各个时期的 IT 建设,公司有计费系统、网络系统、OA 系统、财会系统和客服系统等等。随着公司数据仓库项目建设完成,各系统核心业务数据都汇总到了大数据中心。本以为会大幅提升 IT 系统的“智能性”,没想到基层的反应是根本用不起来。很多问题都来源于:缺乏针对数据的指导,业务逻辑把控不准确,各部门指标不统一,导致数据准备的成本较高。

继续以电信运营商为例,对于运营商的“当日用户数”这个指标,各个部门给出的定义并不一样:

在营业部每周例会上,各个部门对“当日用户数”争吵的面红耳赤,担负着业务压力的业务人员很可能谁也说服不了对方来接受自己的数字,不得不要求数据维护人员额外投入工作量去解析差异根源,校准报表数据。

这个问题按照元数据技术的术语来讲,就是在业务元数据上,大家对于业务的认识并不统一。这种问题会造成大量的时间成本浪费:

元数据管理平台的建设就是为了避免出现这样的问题。建设元数据管理平台可以:

[if !supportLists]·      [endif]实现对技术元数据抽取、汇集、梳理,注释相关库表、列信息。支持查看完整数据链路和关联图谱。

[if !supportLists]·      [endif]梳理业务元数据,将相关的指标、流程在平台中建立起来,固化并传播企业专业知识。

[if !supportLists]·      [endif]将业务元数据同技术元数据联系起来,联通业务与技术,给业务管理人员和技术维护人员提供更详尽的指导。

就上文的举例来看,就可以在元数据管理平台上维护“当日用户数”等易混淆指标,规范其数据来源,将其同技术库表元数据关联起来并作详尽的注释。报表建设以元数据管理平台维护的业务知识为基准,这样报表数据有章可循、有理有据,消弭不必要的争吵,各部门专心分析报表数据,充分利用数据价值。

显而易见,元数据管理平台梳理企业资产、规范专业知识。推动元数据管理可以显著降低数据准备成本:

元数据管理是基础

元数据管理可以梳理企业资产,规范专业知识,降低数据准备期间沟通、反查、校正等大量重复和不必要投入,辅助提升数据分析效率,是数据管理的基础。

如果你进行的数据处理越复杂,作为支撑的数据就需要更好。如果你同时兼顾了这两件事,才能让更多的人直接使用数据并为自己服务。很多时候我们往往“本末倒置”,碰到问题仅仅关注要如何解决,而忽略基础的准备,不仅增加复杂度和重复工作量,还会花费大量的沟通、理解的成本。

元数据管理是基础

额外的,元数据管理作为底层基础,能使我们在后续进行集成操作,如处理云;在混合环境中做数据集成;在重复环境中做大数据时,获取巨大的优势。事实上,将数据更快的交付给企业才是重点。

综上,为了更快的数据分析和支撑业务,IT 中心的能力至关重要,因为它就是“80%”投入的来源。那么什么使一个成功的IT中心变得更加卓越。

[if !supportLineBreakNewLine]

[endif]

元数据管理

东软SaCa MetadataManagement 元数据管理平台软件,致力于集中式元数据管理解决方案。广泛适配主流数据库、ETL 工具、BI 工具等。支持智能语义检索,提供数据剖析、全方位关联分析、度量可调的血缘/影响分析、元数据质量自动分析等功能。

元数据仓库

元数据分析

相比于同类产品,东软 SaCa MetadataManagement 元数据管理平台软件具备如下优势:

延伸阅读

SaCa MetadataManagement高性能、智能化的元数据管理平台,助力各行业用户管理数据资产,架设技术数据资产和业务数据资产之间的桥梁,让数据发挥更大的价值贡献。

东软平台产品

通过UniEAP、SaCa、RealSight 产品的灵动组合,高效应对协作跨界融合、数据驱动业务、服务遍在按需、产品可信可控、平台支撑敏捷的共性技术需求,支持便捷迅速的构建企业业务系统,实现业务从前端到后台的变革,帮助企业实现智能化运营,从容应对市场变革,助力企业数字化转型。目前,在政府、医疗、制造、电信、能源、教育、金融、交通等十多个行业领域应用拥有 4000 多家客户、服务于近 10 亿用户。

来源:东软平台产品(https://platform.neusoft.com

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容