5篇文章 · 6817字 · 1人关注
-
记一次Spark Yarn Shuffle Service升级引发的血案前言 Spark YarnShuffleService是作为Hadoop Yarn模块中NodeManager的辅助服务寄生在其进程内部，大家都...
-
Spark的Driver和ApplicationMaster进程核数设置之我见
配置 源码 具体可以参见yarn.Client.scala#L87，这边用去读取参数设置ApplicationMaster的对应核数。 具体可以...
-
Spark on Yarn 在不同的JDK环境下运行前言 Spark社区的快速发展给我带来越来越快，越来越方便的大数据处理工具的同时，也带来了不小的麻烦，一季度一个小版本，半年一个大版本，新版本J...
-
Spark SQL on Yarn with Cluster mode Fails Load hive-site.xml
问题描述 运行spark sql on yarn的时候发现yarn client模式跑的好好的程序，换成yarn cluster模式就不正确了，...
-
When Spark WEB UI Fails Your Application
相关配置 问题描述 诸如Azkaban/Zeppelin负责调度和运行Spark作业的，都会在某个调度节点起N个SparkSubmit进程。默认...
文集作者