参考项目： https://github.com/LiShuMing/spark-demos 疑惑一、Spark提交任务依赖包问题？ 使用Spa...
投稿
收录了21篇文章 · 11人关注
-
基于Yarn集群Spark Streaming 提交任务解惑
-
Spark支持kerberos环境下的Kafka、Hbase传输一、准备环境： 创建Kafka Topic和HBase表 1. 在kerberos环境下创建Kafka Topic 1.1 因为kafka默认使...
-
spark网络通信-RPC的实现本文基于spark源码2.11 1. 概要 spark中网络通信无处不在，例如 driver和master的通信，比如driver会想maste...
-
pyspark与py4j线程模型简析
事由 上周工作中遇到一个bug，现象是一个spark streaming的job会不定期地hang住，不退出也不继续运行。这个job经是用pys...
-
Spark Streaming使用场景及优化总结
SparkStreaming适合场景 Storm 流式计算（扶梯）优点： 数据延迟度很低，Storm的事务机制要比SparkStreaming的...
-
Facebook Spark 60TB Spark应用场景总结
可用性调优 SPARK-13793 之前的PipedRDD实现容错性较差，只要发生fetch错误时，整个job就会失败，该PR改进了PipedR...
-
Spark下使用火焰图分析工具
准备 Java honest profiler工具： https://github.com/jvm-profiling-tools/honest...
-
Spark 2.1.0 - Shuffle逻辑分析
网上有很多文章，发现跟当前的版本有很多冲突，看起来一知半解的；当前讨论的版本为spark2.1.0，之前的版本不再考虑；而其命名方式也很奇怪，可...
-
CarbonData 1.2.0集成Spark 2.1.0调研
编译 carbondata1.2已经支持hive+presto，carbon生态圈基本健全。 基于git checkout到branch-1.2...
-
Spark Streaming一致性、容错机制分析
Spark Streaming容错机制保障 参考https://databricks.com/blog/2015/01/15/improved-...
专题公告
Spark学习、项目使用相关。
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/488634/IMG_1292.JPG', '推荐专题《一步一步学习Spark》（ 分享自 @简书 ）','https://jianshuapi.com/c/39d04484d630?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}