请求解析Apache Spark中map()操作的分区相关特性

咱们直接说核心：Spark对RDD分区器的保留是有严格规则的——只有能明确保证输出分区规则可预测的转换操作，才会给结果RDD设置分区器。反过来，那些没法保证生成已知分区的操作，结果RDD就不会有分区器。

举个最常见的例子：假设你有一个已经做了哈希分区的键值对RDD，当你调用map()操作时，问题就出现了：你传给map()的函数，理论上是可以修改每个元素的键的！Spark才不会去做什么“代码静态分析”来判断你到底有没有改键——它直接采用“最坏假设”：既然你用了map()，那键可能被改了，原有的分区规则就失效了，所以结果RDD不会设置分区器。

那如果我确实没改键，还想保留分区器怎么办？Spark给你准备了两个针对性的操作：

• mapValues()：这个操作只处理键值对里的value部分，键完全不动。Spark明确知道键没被修改，所以结果RDD会直接继承原RDD的分区器。
• flatMapValues()：和mapValues类似，只是把单个value转换成多个元素，但键依然保持不变，所以同样会保留原分区器。

简单总结下：Spark判断要不要保留分区器，看的是操作是否明确保证键的不变性。像filter()这种只过滤元素、不碰键的操作，也会保留分区器；但map()、flatMap()这种可能修改键的操作，就会直接丢掉分区器。

内容的提问来源于stack exchange，提问作者rushikesh jachak