正文内容分为上下两篇来阐述，上一篇见《Spark内存管理详解（上）——内存分配》[https://www.jianshu.com/p/3981b14df76b] 3. 存储内...
IP属地：辽宁
-
Spark内存管理详解（下）——内存管理 -
SparkOnYarn的参数spark.yarn.executor.memoryOverhead
spark.yarn.executor.memoryOverhead这个参数困扰了我很久，首先文档说它代表的是exector中分配的堆外内存，然而在创建MemoryManag...
-
spark -SQL 配置参数
Spark-Sql的参数调优： 官网： http://spark.apache.org/docs/latest/sql-programming-guide.html 缓存表参...
-
Spark内存管理详解（上）——内存分配正文内容分为上下两篇来阐述，下一篇见《Spark内存管理详解（下）——内存管理》[https://www.jianshu.com/p/58288b862030] 引言 Spa...
-
spark 优化 分析方向 (数据倾斜）
第2章 Spark数据倾斜 Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题，是由于不同的key对应的数据量不同导致的不同task所处理的数据量不同的问...
-
spark 优化 分析方向 (性能调优）
第1章 Spark 性能调优 1.1 常规性能调优 1.1.1 常规性能调优一：最优资源配置 可以进行分配的资源如表所示： 名称 说明--num-executors ...
-
spark 优化 分析方向 (Spark故障排除）第3章 Spark故障排除 3.1 故障排除一：控制reduce端缓冲大小以避免OOM 在Shuffle过程，reduce端task并不是等到map端task将其数据全部写入...
-
