Spark--算子执行原理

一、sortByKey

  SortByKey是一个transformation算子，但是会触发action，因为在sortByKey方法内部，会对每个分区进行采样，构建分区规则（RangePartitioner）。

内部执行流程

1、创建RangePartitioner part，用于构建分区规则。

  Part可以根据指定的分区数量和排序方式，确定每个下游分区的上界，并为每个key分配正确的分区编号。数据在shuffle到本地磁盘的过程中，会记录目标分区的信息，确保下游分区能够正确拉取对应分区的数据。

2、根据part创建ShuffleRDD，对原始RDD按key重新分区。

3、shuffle到本地磁盘的临时文件（包含数据文件和索引文件）。

4、下游分区拉取对应分区的数据。

RangePatitioner工作原理

（1）确定下游每个分区的上界。

  对每个上游分区采样，确定数据的大致范围，再根据传入的分区数或者默认分区数确定分区边界。

（2）将rdd中的每个key调用getPartition函数，从而获取其应归属的分区。

①若目标分区数较小（128），采用线性查找；
②若超过128，采用二分查找：
  如果键小于范围的最小界限，它将分配到第一个分区。
  如果键大于所有范围界限，它将分配到最后一个分区。
  对于在某个范围中间的键，getPartition 使用二分查找方法找到合适的分区。这里根据范围边界数组 (rangeBounds) 和键值（k）进行比较，返回对应的分区索引。

二、join

内部执行流程

1、接收其他RDD作为参数

  默认使用当前有效的最大分区器，如果没有，新建一个HashPartitioner作为分区器。

2、将具有相同key的value进行联结（cogroup)

  （返回一个二元组(K, (Iterable[V1], Iterable[V2]))），若某个rdd没有该key对应的value，Iterable为空。

3、将每个key对应的两个Iterator中的元素进行笛卡尔积，每一对结果作为新的value，与key组成新的二元组返回。

三、map & mapPartitions & mapPartitionsWithIndex & flatMap

1、map

内部执行流程

（1）将函数作为参数传入；
（2）对f删除不必要的引用，检查是否能够被序列化，是否存在闭包问题；
（3）创建一个MapPartitionsRDD，将每个迭代器执行 f 的逻辑后返回。

特点

（1）每处理一条数据，就调用一次f，每一条数据都是一个迭代器。
（2）无法直接得知分区编号，但是可以通过如下方式获取：

val index = TaskContext.getPartitionId()

（3）返回迭代器。

2、mapPartitions

特点

（1）以分区为单位对数据调用f，一个分区就是一个迭代器。
（2）返回迭代器和partitioner。

3、mapPartitionsWithIndex

特点

（1）以分区为单位对数据调用f，一个分区就是一个迭代器。
（2）返回分区编号和迭代器

4、flatMap

  通过TraversableOnce特征，逐个处理rdd中的每个元素，然后将处理过的元素组成新的rdd返回。

四、groupByKey & groupBy

1、groupByKey (k, CompactBuffer(v,v,v,v) )

内部执行流程

1、调用 combineByKeyWithClassTag将所有相同的key合并到CompactBuffer中，并根据指定的partitioner进行分组；
2、返回一个新的rdd，每个key 对应的value被聚合成一个CompactBuffer；
3、将合并后的rdd转换为RDD[(K, Iterable[V])]]。

partitioner为HashPartitioner

  可以看到，HashPartitioner为key分配新分区号的方式是key的hashCode值 % 下游分区数，这意味着相同key的数据一定会被分配到同一台机器的同一个partition的同一个组里面。

2、groupBy ( k, CompactBuffer( (k,v),(k,v),(k,v),(k,v) ) )

内部执行流程

1、将f函数作为参数传入；
2、对f删除不必要的引用，检查是否能够被序列化，是否存在闭包问题；
3、将rdd的每个元素调用f后的值作为key，元素本身作为value，得到的二元组调用groupByKey进行分组。

  源rdd在Driver端被创建和调用，对rdd进行操作，本质上是对rdd的每个partition进行操作，而每个partition对应一个task，task就会对这个partition对应的Iterator进行相应的操作。
  算子被调用，真正执行时会调用compute方法。真正执行具体是指task被分配到executor的线程池中时，compute方法被iterator调用。

3、groupBy VS groupByKey

  groupBy更灵活，但在shuffle时传输的数据更多（groupBy返回 ( k, CompactBuffer( (k,v),(k,v),(k,v),(k,v) ) );而groupByKey返回 (k, CompactBuffer(v,v,v,v) ) ）。

五、reduceByKey & combinByKey

1、reduceByKey

内部执行流程

1、调用 combineByKeyWithClassTag，将分区内相同key的value应用传入的函数，再将分区间相同key的value应用同一个传入的函数；
2、返回一个新的rdd。

2、combineByKey

  combineByKey的内部执行流程与reduceByKey是一样的，唯一不同的是combineByKey分区间应用的函数与分区内应用的函数不同。

3、性能分析

ReduceByKey VS CombineByKey

  combineByKey更灵活，因为其支持分别指定分区内和分区间的聚合逻辑，而reduceByKey分区内和分区间使用一样的聚合逻辑。

reduceByKey VS groupByKey

  reduceByKey的效率更高，因为reduceByKey在map端会进行局部聚合，因此在shuffle时传输的数据更少。

六、foldByKey & aggregateByKey

1、foldByKey

内部执行流程

（1）调用 combineByKeyWithClassTag，先将初始值应用函数，再将分区内相同key的value应用传入的函数，最后将分区间相同key的value应用同一个传入的函数；
（2）返回一个新的rdd。

2、aggregateByKey

  foldByKey 的内部执行流程与 aggregateByKey 是一样的，唯一不同的是 aggregateByKey 分区间应用的函数与分区内应用的函数不同。

3、foldByKey 与 aggregateByKey的区别

  foldByKey局部和全局使用相同的聚合逻辑；aggregateByKey局部和全局使用不同的聚合逻辑。