后篇传送门：https://www.jianshu.com/p/24bdc6f62e84 目录 Prologue Kudu的初衷 集群架构与共识保证 表与分区的设计 底层存储...
发简信
IP属地：浙江
-
迟到的Kudu设计要点面面观（前篇） -
迟到的Kudu设计要点面面观（之更加迟到的后篇）前篇传送门：https://www.jianshu.com/p/5ffd8730aad8 目录 Prologue（见前篇） Kudu的初衷（见前篇） 集群架构与共识保证（见前...
-
Spark+AI Summit 2019: Netflix 进入Spark时代流媒体老大Netflix在今年Spark+AI Summit分享了他们用Spark替代了Hive和Pig的经验和教训！Netflix是Amazon web service的最...
-
35岁以后你还能干啥？这是我看过最棒的建议！
你是否感觉日子漫长，无心工作？如果不能花时间来专注当下，不如花点时间来规划未来吧。无论你有没有毕业，无论你有没有过30岁，都建议读下这篇史上最好的职业规划文章。 它道破了你职...
-
Spark--Spark RDD的容错机制lineage与checkpointAttention Please--文章来自互联网资料整理，如有雷同，纯属李小李抄袭，如有侵权请联系删除 From 李小李 Spark RDD的容错机制可以从lineage和...
-
Hadoop--MapReduce执行过程基于hadoop2.7.x系列 MapReduce执行过程中分为两个阶段，Mapper和Reducer阶段 MapReduce执行过程简述 MapReduce运行时，首先通过...
-
Spark--Spark Shuffle细节掌握(面试类)问题
Spark Shuffle Read阶段是如何读取数据的 Reduce去拉取Map的输出数据，Spark提供了两套不同的拉取数据框架：通过socket连接去取数据；使用net...
-
Spark shuffle机制概述shuffle及Spark shuffle历史简介 shuffle，中文意译“洗牌”，是所有采用map-reduce思想的大数据计算框架的必经阶段，也是最重要的阶段。它处在m...
-
Spark-Shuffle详细过程参考MapReduce的shuffle的计算过程是在executor中划分mapper与reducer，可以作为对比参考。 Spark的Shuffle中有两个重要的压缩参数： 设...
