Apache Spark按CLIENT列重分区搭配UDF的执行行为差异问题

底层机制约定 #

• Spark 的 UDF 实例生命周期与单个Executor执行核心上的串行任务执行序列绑定，不存在按分区键、按分区的实例隔离规则：Executor 会将随Task序列化下发的 UDF 对象在本地反序列化一次，后续同一个核心上串行运行的所有Task，都会直接复用内存中已加载的 UDF 实例，不会为每个Task重新初始化。
• 按列重分区的分配逻辑为：对分区键值做哈希计算，按哈希值取模后将对应数据行分配到目标分区，全程不涉及 UDF 实例的拆分逻辑。

两种分区配置下的表现差异 #

200默认分区场景的“符合预期”是偶然结果 #

该场景下观察到的“每个CLIENT值对应独立UDF实例”，是多个条件叠加的巧合，并非Spark的设计规则：

1. cl1、cl2 两个值经过哈希计算后，刚好被分配到不同分区中
2. 集群可用Executor核心数充足，200个分区对应的Task全部被并行调度到不同核心上运行，没有出现同一核心串行执行多Task的情况
3. 每个核心仅运行一个处理单CLIENT值的Task，对应的UDF实例自然只会接触到单一CLIENT值，缓存大小始终为1，形成了“键值与实例一一绑定”的错觉。

2个分区场景下的异常表现本质 #

设置 repartition(2, col("CLIENT")) 后，作业仅需要2个并行Task槽位即可跑完所有数据：

1. cl1、cl2 按照哈希取模规则依然会被分配到两个独立分区
2. 由于总分区数远小于集群可用核心数，Spark 调度器会将两个分区对应的Task，先后调度到同一个Executor核心上串行执行
3. 核心上之前为处理cl1分区的Task加载的UDF实例不会被主动销毁，后续处理cl2分区的Task执行时，会直接复用这同一个内存实例，不会重新初始化新的MyUdf对象
4. 因此同一个UDF实例会先后处理cl1、cl2两个值，本地缓存大小自然从1增长到2，完全匹配日志中观察到的执行顺序。

关键认知提示 #

• 禁止将UDF类的成员变量当作带可靠隔离边界的本地缓存使用：UDF实例的复用范围完全由任务调度的核心分配逻辑决定，既不绑定分区，也不绑定键值，随时可能出现跨分区、跨键值的数据串扰。
• 如果需要在UDF内实现按任务隔离的缓存逻辑，需要通过Spark提供的Task上下文钩子手动做边界控制，不能依赖UDF默认的实例化行为。

可复现的验证方式：在2个分区的测试场景下，将Executor核心数强制设置为2，让两个分区的Task分别在独立核心上并行执行，就能观察到两个独立的UDF实例，每个实例的缓存大小始终为1。

内容的提问来源于stack exchange，提问作者IgorZ