一.aggregate和aggregateByKey参数
aggregate和aggregateByKey的参数是一样的,作用也一样,只不过aggregateByKey多了key而已。
def aggregate[U: ClassTag](zeroValue:U)(seqOp: (U, T) =>U, combOp: (U, U) =>U)
zeroValue:U ---> 初始值
(U, T) =>U ----> 相同partition中值的合并逻辑
(U, U) =>U ----> partition之间的结果合并逻辑
def aggregateByKey[U: ClassTag](zeroValue:U)(seqOp: (U, V) =>U, combOp: (U, U) =>U)
zeroValue:U ---> 初始值
(U, T) =>U ----> 相同partition中值的合并逻辑
(U, U) =>U ----> partition之间的结果合并逻辑
二.通过demo来展示各个参数的作用
本着理论吹的烟雪起闻者听之如放屁中心思想,我们通过简单的实例来讲解各个参数的作用。
1.aggregate
// 创建一份数据,并设置两个partition
// partition_1 (1,2,3) | partition_2 (4,5,6)
val data = sc.parallelize(List(1, 2, 3, 4, 5, 6), 2)
// 初始值为0,每个partition内部聚合函数为 取最大值,partition之间的聚合函数为相加
val i: Int = data.aggregate(0)(math.max(_, _), _ + _)
// 打印结果 9
println(i)
现在我们分析一下计算过程:
1.首先我们有2个partition (1,2,3)和(4,5,6),以(1,2,3) 为例,触发math.max函数
max(0,1) => 1 初始值和第一个元素取最大值 得到 1
max(1,2) => 2 同上
max(2,3) => 3 同上
partition_1 (1,2,3) 得到的聚合结果为3
同样的计算逻辑我们得到
partition_2 (4,5,6) 得到的聚合结果为6
2.在计算partition之间的结果,触发 (_ + _) 函数
由上步可以得到 partition_1 ----- 3
由上步可以得到 partition_2 ----- 6
(0 + 3) = 3
(3 + 6) = 9
刚才的例子中我们有两个partition,假如我们有三个partition的话结果就会不同,
partition内部
p_1(1,2) --->2
p_2(3,4) ---->4
p_3(5,6) ---->6
partition之间
(0+2),
(2+4),
(6+6) =12
不信的小伙伴可以去试试,赌包辣条,就是这样,喵~~~~
2.aggregateByKey
运算逻辑和aggregate相似这里只展示测试代码和结果
val data = sc.parallelize(List((1, 3), (1, 2), (1, 4), (2, 3)),2)
val value = data.aggregateByKey(0)(math.max(_, _), _ + _)
//运行结果k_v => (2,3) ,(1,7) 可以尝试不同的分区对结果的影响,加深理解。