240 投稿
收录了10篇文章 · 1人关注
  • Resize,w 360,h 240
    Haddop:HDFS

    HDFS体系结构 HDFS采用了主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成。...

  • HIVE:常用分析函数

    1、lag() over() lag(pay_succ_time, 1, '1990-01-01 00:00:00') over(partiti...

  • HIVE:数据倾斜

    1、什么是数据倾斜? 数据分布不均匀,造成数据大量的集中到一点,造成数据热点 2、Hadoop 框架的特性 A、不怕数据大,怕数据倾斜B、Job...

  • HIVE:小文件合并

    HDFS非常容易存储大数据文件,如果Hive中存在过多的小文件会给namecode带来巨大的性能压力。同时小文件过多会影响JOB的执行,hado...

  • HIVE :行列转换

    举个栗子 a b 1a b 2a b 3c d ...

  • Resize,w 360,h 240
    Kimball维度建模

    前言 维度模型是数据仓库领域另一位大师Ralph Kimall所倡导,他的《The DataWarehouse Toolkit-The Comp...

  • Resize,w 360,h 240
    维度建模:缓慢变化维SCD

    缓慢变化维(Slowly Changing Dimension)就是变化相对缓慢(相对与快速变化的事实表来说)的维度。 在维度建模理论中,有8种...

  • Resize,w 360,h 240
    维度建模:事实表

    维度建模数仓领域中的事实表大致分以下三种: a. 事务事实表b. 周期快照事实表c. 累计快照事实表 一、事务事实表(稀疏表,相当于流水表) 事...

  • Resize,w 360,h 240
    数据仓库:架构的演变

    发展 离线大数据架构数据仓库概念是Inmon于1990年提出并给出了完整的建设方法。随着互联网时代来临,数据量暴增,开始使用大数据工具来替代经典...

  • Resize,w 360,h 240
    数据仓库:基础

    什么是数据仓库? 面向主题的,集成的,相对稳定的,反映历史变化的数据集合,用于支持管理决策。 数据仓库,英文名称Data Warehouse,简...

专题公告

数据仓库需要积累的知识~