记录一下个人对sparkSql的catalyst这个函数式的可扩展的查询优化器的理解，目录如下， Overview Spark SQL的核心是C...
投稿
收录了13篇文章 · 5人关注
-
Spark SQL Catalyst优化器 -
Spark消息通信原理一.NettyRpcEnv主要组件 子组件TransportConf，Dispatcher，TransportClientFactory，Tra...
-
浅析 Spark Shuffle 内存使用在使用 Spark 进行计算时，我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况，而且很大一部分情况是发生在 Shu...
-
Spark的数据本地化和延迟调度策略
一.概述 Spark数据本地化即计算向数据移动，但数据块所在的Executor不一定有足够的的计算资源提供，为了让task能尽可能的以最优本地化...
-
Spark中BlockManager的存储原理一.整体架构 Spark的存储介质包括磁盘和内存。 Spark的存储采用了主从模型，存储模块使用了基于Netty的RPC消息通信方式。Block...
-
Spark内存储级别性能测试及其选择
Spark有多种储级别，下面我用数据的方式展示各种存储级别的区别和其选择，希望能给在座各位在工作中或面试中一点帮助！转载请注明出处：Michae...
-
Spark源码分析之作业和任务调度流程一.前言 Spark的作业和任务调度系统是其核心。Spark的作业调度主要是基于RDD的一系列操作构成一个作业，然后在Executor上执行，这...
-
Spark源码分析之SparkSubmit的流程准备 本文主要对SparkSubmit的任务提交流程源码进行分析。Spark源码版本为2.3.1。 首先阅读一下启动脚本，看看首先加载的是哪个类...
-
Spark源码分析之Excutor资源分配流程一.前言 在用户提交应用程序时,SparkContext会向Master发送注册消息，并由Master给该应用分配Executor。 这里的Sp...
-
Spark源码分析之Master的启动流程
准备 本文主要对Master的启动流程源码进行分析。Spark源码版本为2.3.1。 阅读源码首先从启动脚本入手，看看首先加载的是哪个类，我们看...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1781616/spark%E6%88%AA%E5%9B%BE.png', '推荐专题《Spark》（ 分享自 @简书 ）','https://jianshuapi.com/c/976def228dc2?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}