在大量数据中对一些字段进行关联。 举例 ipTable：需要进行关联的几千条ip数据(70k)hist：历史数据（百亿级别） 直接join将会对...
投稿
收录了19篇文章 · 30人关注
-
spark broadcast join优化
-
Spark map-side-join 关联优化
将多份数据进行关联是数据处理过程中非常普遍的用法，不过在分布式计算系统中，这个问题往往会变的非常麻烦，因为框架提供的 join 操作一般会将所有...
-
解决spark中遇到的数据倾斜问题
一. 数据倾斜的现象 多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。 二. 数据倾斜的原因 ...
-
SparkSQL自定义Hint优化器解决热点数据导致JOIN数据倾斜问题场景 有时我们通过sparkSQL来分析数据，当使用Join操作时，最让人头疼的莫过于数据倾斜了，如果你是大表关联小表的情况，那情况还不是很糟糕...
-
Spark RPC 框架源码分析（二）运行时序
前情提要： Spark RPC 框架源码分析（一）简述 一. Spark RPC 概述概述 上一篇我们已经说明了 Spark RPC 框架的一个...
-
Spark RPC 框架源码分析（三）Spark 心跳机制分析
一. Spark 心跳概述 前面两节中介绍了 Spark RPC 的基本知识，以及深入剖析了 Spark RPC 中一些源码的实现流程。 具体可...
-
Spark 的“血液” --Spark RPC（一）简述
一. Spark rpc概述 首先说明RPC，引用百度百科： RPC（Remote Procedure Call）—远程过程调用，它是一种通过网...
-
Spark-Core源码精读(3)、spark-shell(spark-submit)流程详解本文将解读使用spark-shell的方式进入REPL的具体流程。 注：本专题的文章皆使用Spark-1.6.3版本的源码为参考，如果Spark...
-
Spark Streaming Dynamic Resource Allocation
Problem Statement DRA has already been implemented since Spark 1.2 . How...
-
Spark SQL / Catalyst 内部原理 与 RBO原创文章，转载请务必将下面这段话置于文章开头处。本文转发自技术世界，原文链接http://www.jasongj.com/spark/rbo/ ...
专题公告
spark 架构原理源码分析
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/618927/u_3764140585_487037343_fm_27_gp_0.jpg', '推荐专题《Spark深度解析》（ 分享自 @简书 ）','https://jianshuapi.com/c/270e651d2b91?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}