第一章 数据管理
1 文章结构脑图
2 基本概念
2.1 数据
数据是一种表示方法,它代表的是除自身以外的事物(Chisholm,2010)。数据既是对其所代表对象的解释,也是必须解释的对象(Sebastian Coleman, 2013)。
2.2 数据和信息
数据:信息的原材料。
信息:在上下文语境中的数据。
举例:“这是上季度的销售报告”(信息)。它基于数据仓库中的数据(数据)。下一季度,这些结果(数据)将用于生成季度绩效指标(信息)。
组织内部在数据和信息之间画一条线,可能有助于清晰地沟通不同利益相关方对不同用途的需求和期望。认识到要为不同的目的准备数据和信息,将使数据管理形成一个核心原则:数据和信息都需要被管理;如果再将两者的使用和客户的需求结合在一起进行管理,则两者应具有更高的质量。
2.3 数据驱动
数据驱动是指使用事件触发和应用分析来获得可操作的洞察力;同时要认识到必须通过业务领导和技术专业知识的合作关系,以专业的规则高效地管理数据。 *
2.4 数据管理原则
数据管理也必须平衡战略和运营需求。这种平衡最好是遵循一套原则,根据数据管理的特征来指导数据管理实践。
- 有效的数据管理需要领导层承担责任。
- 数据价值:A 独特属性的资产;B 可用经济术语表示。
数据作为资产,最明显的一个特点是 - 数据管理需求是业务的需求:A 意味着对质量的管理。B 需要元数据。C 需要规划。D 须
驱动信息技术决策。
是数据管理的。 - 数据管理依赖不同技能:A 跨职能的。B 需要企业级视角。C 为多方面要求负责。
- 数据管理是生命周期管理:A 不同类型数据有不同的生命周期。B 需要纳入与数据相关
的风险
2.5 数据管理的挑战
数据价值:是上下文相关的(对一个组织有价值的东西可能对另一个组织没有价值),而且往往是暂时的(昨天有价值的东西今天可能没有价值)。
- 例如,获取可靠的客户信息。随着越来越多与客户活动相关的数据得以积累, 客户信息随着时间的推移变得更有价值。
在数据管理方面,,因为组织需要从财务角度了解资产,以便做出一致的决策。
数据质量:
低质量数据的成本主要来源于:1)报废和返工。2)解决方法和隐藏的纠正过程。3)组织效率低下或生产力低下。4)组织冲突。5)工作满意度低。6)客户不满意。7)机会成本,包括无法创新。8)合规成本或罚款。9)声誉成本。
高质量数据的作用包括:1)改善客户体验。2)提高生产力。3)降低风险。4)快速响应商机。5)增加收入。6)洞察客户、产品、流程和商机,获得竞争优势。
元数据:描述了一个组织拥有什么数据,它代表什么、如何被分类、它来自哪里、在组织之内如何移动、如何在使用中演进、谁可以使用它以及是否为高质量数据。
在数据生命周期中,不同阶段由不同团队进行不同的管理。数据管理需要系统规划的设计技能、管理硬件和构建软件的高技术技能、利用数据分析理解问题和解释数据的技能、通过定义和模型达成共识的语言技能以及发现客户服务商机和实现目标的战略思维。
数据生命周期:包括创建或获取、移动、转换和存储数据并使其得以维护和共享的过程,使用数据的过程,以及处理数据的过程。 见下图1-2。
数据管理对数据生命周期的关注有几个重要影响: 1 是数据生命周期中的;2 必须贯穿整个数据生命周期;3 必须贯穿整个数据生命周期;4 数据管理还包括,并。5 数据管理工作应聚集于,将数据ROT(冗余的Redundant、过时的Obsolete、碎片化的Trivial)降至最低。
数据分类: 按数据类型分类(例如划分为交易数据、参考数据、主数据、元数据,)或者类别数据、源头数据、事件数据、详细交易数据;也可以按数据内容(如数据域、主题区域)、数据所需的格式或保护级别、存储或访问的方式和位置进行分类。
** 数据管理需要:** 设计技能、高技术技能、理解问题和解释数据的技能、语言技能、战略思维。
2.6 数据管理战略
数据战略: 应该包括使用信息以获得竞争优势和支持企业目标的业务计划。数据战略必须来自对业务战略固有数据需求的理解:
数据管理战略的组成应包括: 1)令人信服的数据管理愿景。2)数据管理的商业案例总结。3)指导原则、价值观和管理观点。4)数据管理的使命和长期目标。5)数据管理成功的建议措施。6)符合 SMART 原则(具体、可衡量、可操作、现实、有时间限制)的短期(12~24 个月)数据管理计划目标。7)对数据管理角色和组织的描述,以及对其职责和决策权的总结。8)数据管理程序组件和初始化任务。9)具体明确范围的优先工作计划。10)一份包含项目和行动任务的实施路线图草案。
数据管理战略规划的可交付成果包括: 1) ==数据管理章程==:总体愿景、业务案例、目标、指导原则、成功衡量标准、关键成功因素、可识别的风险、运营模式等。2)==数据管理范围声明==。 规划目的和目标(通常为 3 年),以及负责实现这些目标的角色、组织和领导。 3)==数据管理实施路线图==。确定特定计划、项目、任务分配和交付里程碑。
2.7 数据管理框架
- 前两个模型,即战略一致性模型和阿姆斯特丹(Amsterdam)信息模型,展示了组织管理数据的高阶关系。
- DAMA-DMBOK框架(DAMA车轮图、六边形图和语境关系图)描述了由DAMA定义的数据管理知识领域,并解释了它们在DMBOK中的视觉表现。
- 最后两个模型是以DAMA为基础重新排列组件,以便于更好地理解和描述它们之间的关系。
战略一致性模型(SAM): 它抽象了各种数据管理方式的基本驱动因素,模型的中心是数
据和信息之间的关系。 见下图1-3
阿姆斯特丹信息模型(AIM): 与战略一致性模型一样,它抽象出一个关注结构(包括规划和
架构)和策略的中间层。见下图1-4
DAMA车轮图: 定义了数据管理知识领域。它将数据治理放在数据管理活动的中心,因为治理是实现功能内部一致性和功能之间平衡所必需的。其他知识领域(数据体系结构、数据建模等)围绕车轮平衡。见下图1-5
环境因素六边形图: 显示了人、过程和技术之间的关系,是理解 DMBOK 语境关系图的关键。见下图1-6
知识领域语境关系图: 描述了知识领域的细节,包括与人员、流程和技术相关的细节。数据治理 活动通过战略、原则、制度和管理提供监督和遏制。通过数据分类和数据估值实现一致性。图1-17
- 从左侧流入活动中是输入和供给者,右侧从活动中流出是交付成果和消费者,参与者列在活动下方,底层是影响知识领域各个方面的技术、工具和度量指标。
生命周期管理活动源于 主数据使用、文件和内容管理、商务智能、数据科学、预测分析、数据可视化。许多情况下都会基于现有数据进行增强性的开发,获取更多洞察,产生更多的数据和信息。数据货币化的机会可以确定源于数据的使用。
数据治理项目 通过制定战略和支持原则、制度和管理实践,使组织能够以数据为驱动力,确保组织认识到并利用从其数据 中获得价值的机会。
3 关键架构图
3.1 数据管理原则
图1-1 数据管理原则
3.2 数据生命周期中的关键活动
图1-2 数据生命周期关键活动
3.3 数据管理架构
图1-3 战略一致模型
图1-4 阿姆斯特丹信息模型
图1-5 DAMA车轮图
图1-6 环境因素六边形图
图1-17 知识领域语境关系图
图1-8 DMBOK金字塔
图1-9 DAMA功能领域依赖关系图
图1-10 DAMA数据管理功能框架