引言 上一小节《任务执行机制和Task源码浅析1》介绍了Executor的注册过程。这一小节，我将从Executor端，就接收LaunchTas...

引言 上一小节《TaskScheduler源码与任务提交原理浅析2》介绍了Driver侧将Stage进行划分，根据Executor闲置情况分发任...

引言 上一节《TaskScheduler源码与任务提交原理浅析1》介绍了TaskScheduler的创建过程，在这一节中，我将承接《Stage生...

引言 上一节《Stage生成和Stage源码浅析》中，我介绍了Stage生成划分到提交Stage的过程，分析最终归结到submitStage的递...

引入 上一篇文章《DAGScheduler源码浅析》中，介绍了handleJobSubmitted函数，它作为生成finalStage的重要函数...

引入 上一篇文章DAGScheduler源码浅析主要从提交Job的流程角度介绍了DAGScheduler源码中的重要函数和关键点，这篇DAGSc...

DAGScheduler DAGScheduler的主要任务是基于Stage构建DAG，决定每个任务的最佳位置 记录哪个RDD或者Stage输出...

SparkContext的初始化 SparkContext是应用启动时创建的Spark上下文对象，是进行Spark应用开发的主要接口，是Spar...