Key-Value数据类型的Transformation算子
输入输出一对一
mapValues
针对Key，Value数据中的Value进行map操作，而不是对key进行处理
mapValues
对单个RDD聚集
combineByKey
聚集相同Key的RDD，值形成序列返回
combineByKey
def combineByKey[C](
createCombiner:V=>C,
mergeValue:(C,V)=>C,
mergeCombiners:(C,C)=>C,
partitioner:Partitioner,
mapSideCombine:Boolean=true,
serializer:Serializer=null):RDD[(K,C)]=self.withScope{
combineByKeyWithClassTag(createCombiner,mergeValue,mergeCombiners,
partitioner,mapSideCombine,serializer)(null)
}
createCombiner:V=>C
在C不存在的情况下，通过V创建seqC
mergeValue:(C,V)=>C
在C已经存在的情况下，需要merge，如把item V加到seqC中
mergeCombiners:(C,C)=>C
合并两个C
partitioner:Partitioner
分区器
mapSideCombine:Boolean=true
开启map端combine，减少shuffle传输量
serializer:Serializer=null
传输需要序列化，序列化类
reduceByKey
聚集key相同的RDD，值合并
reduceByKey
partitionBy
对RDD进行分区操作
如果原有的RDD分区器和现有分区器相同，不重分区
partitionBy
对两个RDD聚集
cogroup
将两个RDD协同划分
对两个RDD中的key-value类型的元素，每个RDD相同key的元素分别聚合一个集合，返回两个RDD中对应key的元素迭代器
cogroup
连接
join
对两个需要连接的RDD进行cogroup操作，形成的新的RDD，对Key下的元素进行笛卡尔积操作，最后返回RDD[(K,(V, W))]
this.cogroup(other, partitioner).flatMapValues {
case (vs, ws) => for (v <- vs; w <- ws) yield(v, w)
}
join
leftOutJoin, rightOutJoin
相当于在join的基础上先判断一侧的RDD元素是否为空，如果为空，填充为空。如果不为空，将数据进行连接运算
leftOutJoin
if(ws.isEmpty) {
vs.map(v=>(v, None))
} else {
for(v <- vs; w <- ws) yield (v, Some(w))
}
