tenlee

Kafka的分区数是不是越多越好？ 分区多的优点 kafka使用分区将topic的消息打散到多个分区分布保存在不同的broker上，实现了producer和consumer消...

两棵橘树

前言 近两年，KUDU 在大数据平台的应用越来越广泛。在阿里、小米、网易等公司的大数据架构中，KUDU 都有着不可替代的地位。本文通过分析 KUDU 的设计， 试图解释为什么...

chenfh5

总结一下个人看了一些Spark性能调优文章之后的理解，主要框架来自于meituantech，会在此框架上加入个人关注点，目录如下， Overview Spark的瓶颈一般来自...

HxLiang

前方高能，减速慢行！ 看过了Spark的核心RDD和RDD算子以后，感觉Spark是不是很神奇，竟然可以减少计算次数，优化计算。对于窄依赖是这样的，但是宽依赖怎么办？还是要等...

HxLiang

前方高能减速慢行！ 在上一篇RDD结构已经介绍完了。虽然RDD结构是spark设计思想最重要的组成，但是没有辅助的功能只有结构又不能独立使用。真正使RDD完成计算优化的，就是...

HxLiang

前言：自Google发表三大论文GFS、MapReduce、BigTable以来，衍生出的开源框架越来越多，其中Hadoop更是以高可用、高扩展、高容错等特性形成了开源工业界...