框架
存储
海量的数据怎样有效的存储?主要包括hdfs、Kafka;
计算
海量的数据怎样快速计算?主要包括MapReduce、Spark、Flink等
查询
海量数据怎样快速查询?主要为Nosql和Olap，Nosql主要包括Hbase、 Cassandra 等，其中olap包括kylin、impla等，其中Nosql主
要解决随机查询，Olap技术主要解决关联查询
挖掘
海量数据怎样挖掘出隐藏的知识?也就是当前火热的机器学习和深度学习等技术，包括TensorFlow、caffe、mahout等
数据层级
ODS :
原始业务数据库，实际业务生产中产生的数据结构
FACT:
顾名思义即为真正正确的数据，通过ODS进行数据清洗而来
TOPIC:
主题层，数仓是面向主题的数据平台，核心体现，即面向主题的数据结构，例如用户主题，基于用户主题可以记
性用户画像的梳理
APP:
应用层，对外提供服务的数据层级，可以用于BI数据的数据来源点等等
数据分析
定义
数据分析是用来衡量某个对象好坏的工具
BI是用来分析业务经营好坏的互联网工具平台
核心问题
对象是什么:分析的是人还是商品，分析的是业务还是体验
衡量标准是什么:什么样子的情况代表好，什么样子的情况代表不好
标准怎么计算:使用什么算法来生成工具
分析工具
报表:
预设好的工具，预设好相关的维度和指标，展示相关的指标
指标分析:
指标是度量，衡量某个事件好坏的标准;维度是角度，看待对象的角度;使用不同的维度来看指标，能够分析出问题具体出现在哪个业务角度
漏斗分析:
漏斗顾名思义是转化，用来衡量某个流程好坏的工具;流程是由多个事件窜起来的集合，同时一个流程也可以看做一个事件;既然是一个集合，那么漏斗的维度和窗口期必须一致才有意义
留存分析:
用来衡量重复性事件的工具;当一个事件发生之后，在一定的时间窗口期重复发生的比例，既然是重复事件，那么就需要是同一批事件的行动者
关联分析:
用来衡量两个时间关联性的工具;没有任何的条件约束，只需要放在同一个坐标系就可以衡量
用户画像
宽泛讲是用来描述对象特征的工具，除了用于用户，还可以是商品，商家等等
实际的工作就是:从各种维度给用户打标签
欢迎关注微信公众号 ：第十页
