本文基于spark源码2.11 1. 前言 shuffle是spark job中一个重要的阶段，发生在map和reduce之间，涉及到map到reduce之间的数据的移动，以...
发简信
IP属地：广东
-
Spark Shuffle Write 和Read -
数据仓库ODS、DW和DM概念区分今天看了一些专业的解释，还是对ODS、DW和DM认识不深刻，下班后花时间分别查了查它们的概念。 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构...
-
大数据不就是写SQL吗？
【原创，转载请注明出处】 应届生小祖参加了个需求分析会回来后跟我说被产品怼了一句： "不就是写SQL吗，要那么久吗" 我去，欺负我小弟，这我肯定不能忍呀，于是我写了一篇文章发...
-
