Task提交流程
在划分Stage之后,在对Task进行封装成为TaskSet然后提交给TaskScheduler。
提交流程源码解析
提交TaskSet
查看TaskSchedulerImpl的160行,可以看到submitTasks()方法,主要代码如下:
这里主要的的方法是CoarseGrainedSchedulerBackend类的reviveOffers()。
CoarseGrainedSchedulerBackend的reviveOffers()
CoarseGrainedSchedulerBackend中DriverActor的receiveWithLogging()
DriverActor类中的receiveWithLogging()进行模式匹配
makeOffers()方法向Executor提交Task
Executor运行Task
makeOffers()方法的主要代码如下:
这里调用launchTasks(),代码主要的流程是:
这里做的工作主要是迭代TaskSet然后一个一个的取出Task进行序列化之后向Executor发送序列化好的Task。
Executor执行Task
CoarseGrainedExecutorBackend的模式匹配,主要是DriverActor发送数据给Executor的信息
这里做的工作是拿到序列化器,将Task反序列化,将反序列化的Task放入线程池执行。
下面是Executor的launchTask()方法，主要的逻辑是将创建一个TaskRunner对象将Task的信息封装信息然后使用线程池执行。
总结
1.提交Task主要是迭代TaskSet一个一个的取出Task进行序列化之后向Executor发送序列化好的Task
2.Executor执行Task,创建一个TaskRunner对象将Task的信息封装信息然后使用线程池执行
长按下面的二维码关注小编哟！
