实现思想 与MR实现思想一致 分而治之的思想,在Spark计算引擎中，思想与MapReduce一样，但是将输入数据、处理数据和输出数据封装抽象...
投稿
收录了88篇文章 · 6人关注
-
Spark 数据抽象 弹性分布式数据集RDD（Resilient Distributed Dataset） -
spark 一些概念记录主要的component standalone模式下： Master+work 的组网模式，master可以配置HA，可以通过 zookeepe...
-
Spark Shuffle
Spark 内存管理和消费模型 Spark Shuffle 过程 Spark Shuffle OOM 可能性分析 一、Spark 内存管理和消费...
-
spark 内存管理1. spark 内存用不好是怎样的情况？ storage（缓存） 已经存储在磁盘上，说明 预留给缓存的内存偏少 在一个stage 执行的若干个...
-
Spark架构模式与Flink的对比Spark架构模式与Flink的对比 Spark和Flink都属于流批一体的分布式计算引擎。Flink属于流处理框架，通过流来模拟批，Spark...
-
SparkConf 配置与传播
在spark分布式程序中，sparkConf 主要起着Spark程序进行资源配置，性能调优，功能开关，参数传递的能力。在Spark的Driver...
-
八种解决 Spark 数据倾斜的方法
一、什么是数据倾斜 对 Spark/Hadoop 这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。 对于分布式系统而言，理想情况...
-
Spark[四]——Spark并行度
Spark并行度指在Spark作业中，各个Stage中task的数量，也就代表了Spark作业在各个阶段的并行度。合理设置并行度可以从以下几个方...
-
5W字总结Spark（三）(建议收藏)
八、Spark 数据倾斜 详见： 八种解决 Spark 数据倾斜的方法https://www.jianshu.com/p/a917c9969cf...
-
Zeppelin Spark SQL Hive 查询不一致问题
Zeppelin SparkSQL Hive 查询不一致问题 1. 问题 Zeppelin Spark sql 查询出的数据量与 hive 不一...
专题公告
spark相关
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1839103/timg.jpeg', '推荐专题《Spark》（ 分享自 @简书 ）','https://jianshuapi.com/c/7ca1083e4036?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}