1 、数据倾斜 0：15：00 10招调优 1.1 mapreduce回顾 1.2 spark应用程序流程 ~0：42：00 1....
投稿
收录了50篇文章 · 2人关注
-
Spark架构师2-开发调优和资源调优 -
Spark架构师3-spark初始化和任务启动源码1、上次总结 spark初始化环境资源 0:18:00~ 0:41:00 1、Spark RPC（Endpoint：DriverEndpo...
-
浅谈Spark SQL语句解析与基于规则优化（RBO）前言 近些年来，大数据领域“SQL化开发”的理念蔚然成风，这是因为SQL是一种通用、学习成本低的语言，并且还有较强的数据描述能力。不少大数据框架...
-
Spark Core源码精读计划 番外篇B-1：重回Spark RPC环境目录 前言 RPC底层概览 传输配置TransportConf 传输上下文TransportContext成员属性与构造方法创建传输客户端工厂T...
-
Actor模型与Akka Actor体系基础总结前言 最近用业余时间把Flink的RPC基础设施翻了个底朝天，又与之前分析过的Spark RPC机制做了一些对比，越发觉得Actor模型甚为精妙...
-
【spark系列4】spark 3.0.1集成delta 0.7.0原理解析--delta自定义sql
前提 本文基于 spark 3.0.1delta 0.7.0我们都知道delta.io是一个给数据湖提供可靠性的开源存储层的软件，关于他的用处，...
-
【spark系列5】spark 3.0.1集成delta 0.7.0原理解析--delta如何进行DDL DML操作以及Catalog plugin API
前提 本文基于 spark 3.0.1delta 0.7.0我们都知道delta.io是一个给数据湖提供可靠性的开源存储层的软件，关于他的用处，...
-
【spark系列6】spark delta写操作ACID事务前传--写文件基础类FileFormat/FileCommitProtocol分析
背景 本文基于delta 0.7.0spark 3.0.1我们知道spark或者mapreduce在写文件的时候么，都会写入的文件目录中写入一个...
-
【spark系列10】spark logicalPlan Statistics (逻辑计划阶段的统计信息)
背景 本文版本是spark 3.0.1 分析 逻辑阶段的统计信息，对于逻辑阶段的优化也是很重要的，比如broadcathashJoin,dyna...
-
【spark系列9】spark 的动态分区裁剪上(Dynamic partition pruning)-逻辑计划
背景 本文基于delta 0.7.0spark 3.0.1spark 3.x引入了动态分区裁剪，今天我们分析以下代码是怎么实现的 分析 直接定位...
专题公告
大数据
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1944952/crop1616022099012.jpg', '推荐专题《spark》（ 分享自 @简书 ）','https://jianshuapi.com/c/b146d0493f3f?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}