Spark分区数量确定规则疑问解析及示例说明

1. 如何理解“最大值与上游所有RDD的最大分区数处于同一数量级”？ #

这里的“同一数量级”核心判断是两个数值的差距未超过10倍。比如示例里的120和1000，120是1000的12%，两者差距不到10倍，就算同一数量级；而80是1000的8%，差距超过10倍，就不属于同一数量级。Spark这么设计是为了避免强行把分区数拉到远高于上游数据规模的配置值，造成资源浪费。

2. 示例中的1000是怎么来的？ #

这个1000是当前操作所依赖的所有上游RDD里，分区数最多的那个RDD的分区数。比如你的作业中，之前有一个从大文件读取的RDD被分成了1000个分区，这个数值就来源于此。

3. 关联两个RDD（A:30分区，B:120分区）时，规则2、3中的“最大值”是120吗？ #

是的。规则里的“最大值”指的是当前操作所有输入RDD的分区数的最大值。关联操作的两个输入RDD分区数分别是30和120，所以最大值就是120。

内容的提问来源于stack exchange，提问作者Kumar-Sandeep