作者：郭众鑫 链接：https://www.zhihu.com/question/37310539/answer/71417604 来源：知乎 ...

Stage 是spark 中一个非常重要的概念 ， 在一个job 中划分stage 的一个重要依据是否有shuflle 发生 ，也就是是否会发生...

输入可能以多个文件的形式存储在HDFS上，每个File如果过大，会被拆分成很多块，称为Block。 当Spark读取这些文件作为输入时，会根据具...

准确的说，map个数是指map task的个数，map task可以看作进程，并发执行一个job任务。 在map阶段读取数据前，FileInpu...