发简信
IP属地：北京
-
-
-
数据库范式（1NF 2NF 3NF BCNF）详解
数据库的设计范式是数据库设计所需要满足的规范，满足这些规范的数据库是简洁的、结构明晰的，同时，不会发生插入（insert）、删除（delete）和更新（update）操作异常...
-
hive.groupby.skewindata=true注意点
和SQL一样，HiveQL中同样支持DISTINCT操作，如下示例：(1) SELECTcount(DISTINCT uid) FROM log(2) SELECT ip, ...
-
Hive数据倾斜总结
Hive数据倾斜总结 倾斜的原因： 使map的输出数据更均匀的分布到reduce中去，是我们的最终目标。由于Hash算法的局限性，按key Hash会或多或少的造成数据倾斜。...
-
如果不曾看到太阳，我本可忍受黑暗。
-
Hive处理25亿数据之性能优化
项目背景 有个关于分布式链路追踪呢项目，公司微服务460个左右，zipkin 日增数据约1.6T，约25亿左右数据。 通过清洗，输出不同5大维度维度，8种粒度的依赖视图，以及...
-
-
数仓入门基础-2-技术栈
1.hive sql >> 五星 在大多数的工作中，主要用的语言就是sql,说难不难，只要做的多了，基本就可以融会贯通，当然也要了解 hive ,清楚常运用到的优化方法。...
-
数据仓库真的太抽象了，不跟着一个项目去做的话，很难真正理解
数据仓库第三章整理——数据仓库设计
一、数据仓库设计方法概述 （一）DW设计与DB设计方法的比较 1.处理类型不同 （1）DB：操作型数据环境，面向业务 （2）DW：面向主题的分析型数据环境，面向分析，从基本主...
-
数据仓库第三章整理——数据仓库设计
一、数据仓库设计方法概述 （一）DW设计与DB设计方法的比较 1.处理类型不同 （1）DB：操作型数据环境，面向业务 （2）DW：面向主题的分析型数据环境，面向分析，从基本主...
-
数据仓库开发之路之二--概述整个开发流程在上篇随笔《数据仓库开发之路之一--准备工作》中粗略介绍了一下数据仓库项目应用中涉及到的一些知识和工具，其中涉及到了ETL工具DataStage、BI商务智能工具BO（Bus...
-
不同级别和用途的数据模型说起数据模型大部分人就会想到数据库的表结构，就是用一张图把数据库里表的结构给画一遍。 数据模型的作用之一确实是这样，准确来说是用图的方式描述数据库里的表结构。但是，数据模型的...
-
-
Hive原理及SQL优化1.Hive原理 Hive是构建在Hadoop上的数据仓库软件框架，支持使用SQL来读，写和管理大规模数据集合。Hive入门非常简单，功能非常强大，所以非常流行。 通常来说，...
-
kafka的实现原理什么是Kafka Kafka是一款分布式消息发布和订阅系统，它的特点是高性能、高吞吐量。 最早设计的目的是作为LinkedIn的活动流和运营数据的处理管道。这些数据主要是用来...
