数据仓库-事实表/维度表技术-读书笔记三

数据仓库技术

事实表技术简述

事实表结构
1,总是包含外键,且外键不能唯空。
2,事实表的设计完全依赖业务活动,不受最终报表的影响。
3,每行对应一个度量事件。

可加、半可加、半可加事实
1,可加事实:最灵活,最有用的事实。可以按照和事实表关联的任意维度汇总。
2,半可加事实:可以按照某些维度汇总。例如差额,或者新增额,对于时间就只能是筛选条件不能用作维度。
3,不可加事实:例如比率。比较好的做法是仓库中存入完全可加的数据。在最终计算出非可加事实前,将这些数据汇总到最终的结果集合中去。

事实表中的空值
1,事实表中除了外键,其余的字段可以存在空值,因为COUNT、SUM等均可对空值事实进行计算。

一致性事实
1,如果不同事实表中的事实技术定义是相同的,应该具有相同命名,如果不同则应该有不同的命名。

事务事实表
1,度量的数字必须与事务粒度保持一致。
2,事务事实表的一行对应空间或者时间上某点的度量事件。原子事务粒度可以确保对事务数据的最大化分片和分块。

周期快照表
1,每行汇总了发生在某一标准周期,如某天,某周,某月。粒度是周期的。其外键的粒度是均匀的,及时周期内没有活动发生,也会在事实表中为每个事实插入包含0或者空置的行

累计快照事实表
1,汇总了发生过程的开始和结束之间内的度量事件。都会包含时间外键。

无事实的事实表
1,存放仅仅记录一系列某一时刻发生的多维实体。例如 某时候、学生、教师、地点、课程等定义良好的外键

聚集事实表
1,针对原子粒度事实表数据进行简单的数字化上卷操作,目的是为了提高查询性能。通过对来自多个事实表的度量汇总而获得的。

合并事实表
1,将来自多个过程的,以相同粒度表示的事实合并为一个单一的合并事实表,这样能够带来方便。合并会增加ETL处理过程的负担,但是降低了BI应用分析的代价。合并事实表特别适合哪些需要共同分析的多过程度量。

维度表技术简述

维度表结构
1,每个维度表都包含单一的主键列。
2,维度表的主键可以作为与之关联的任何事实表的外键。
3,维度表通常比较宽,是扁平型非规范表,包含大量的低粒度的文本属性。

维度代理键
1,DW/BI需要申明对所有的维度的主键的空置,无法采用自然键或者附加日期的自然键。最好是建立无语意的整型主键。

自然键、持久键、超自然键
1,自然键,如员工编号。
2,持久键:数据仓库为员工编号创建一个单一键,这个单一键保持永久性不会发生变化。有时也被叫做超自然持久键。
3,最后的持久键应该独立于原始的业务过程。

下钻
1,下钻是商业用户分析数据的最基本的办法。GROUP BY ***

退化维度
1,维度除了主键外没有其他任何内容。常见于交易和累计快照事实表中。

非规范化扁平维度
1,能够实现维度建模的双重目标:简化以及速度

多层次维度
1,同一维度中划分多个层次,例如:日历日期的 中的日,周,月,季度,年; 位置维度多个地理层次中 洲,国家。

文档属性的标识与指示器
1,操作代码值所包含的意义应该分解成不同的表示不同描述性维度属性的部分。例如 code=0,code_desc=关闭。

维度表中的空值属性
1,推荐使用描述性字符串代替空置。例如:未知,Unknown。应该避免在维度属性中使用空值。

日历日期维度
1,能够非常方便的对事实表 按照属性的 日期,月份,财务进行划分,后面会章节会贴出实际工作中日历日期维度的维度表。

扮演角色的维度
1,不同的维度视图,即维度表中的列名被成为角色

杂项维度
1,一些列混杂,低粒度的标识和指示器,单独将这些不同的维度合并到一起形成杂项维度。

雪花维度
1,包含多重维度表层次,建立的多层次结构被成为雪花模式。
2,这种维度可以很精确表示层次化的数据,但是会给用户带来理解上的困难,也会影响查询性能,不建议使用。

支架维度
1,维度表中包含对其他维度表的引用。被引用的维度称为支架维度。但是尽量少用。
2,多数情况下,事实表和维度之间的关联应该由事实表来实现。


历史文章

数据仓库-概述-读书笔记一
数据仓库-DW/BI架构对比-读书笔记二


参考资料

数据仓库工具箱


如果您觉得我用心了,觉得您有所收获,麻烦关注下我吧,您的关注就是我的动力,因为我不是一个人在前行。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容