3.4.2 Shuffle依赖(宽依赖Wide Dependency) Shuffle有“洗牌、搅乱”的意思,这里所谓的Shuffle依赖也会打乱原RDD结构的操作。具体来说,父RDD中的分区可能会被多个子RDD分区使用。因为父RDD中一个分区内的数据会被分割并发送给子RDD的所有分区,因此Shuffle依赖也意味着父RDD与子RDD之间存在着Shuffle过程。几类常见的Shuffle依赖及其对应的转换操作如图3.5所示。
同样,图3.5的P代表RDD中的多个分区,我们会发现对于Shuffle类操作而言,结果RDD中的每个分区可能会依赖多个父RDD中的分区。
需要说明的是,依赖关系是RDD到RDD之间的一种映射关系,是两个RDD之间的依赖,如果在一次操作中涉及多个父RDD,也有可能同时包含窄依赖和Shuffle依赖,join操作如图3.6所示。
图3.5 RDD宽依赖
图3.6 宽、窄依赖并存的join操作
我们会发现图3.6中的join操作,其中一个RDD是窄依赖,而另一个RDD是宽依赖,这就是join操作可能同时存在宽、窄依赖。