使用databricks-connect时RDD执行repartition触发Py4JJavaError错误

问题复现 #

通过databricks-connect连接Databricks 10.4 LTS集群时，执行RDD的repartition操作会触发Py4JJavaError，核心报错为：

无法将org.apache.spark.serializer.KryoSerializer实例赋值给org.apache.spark.ShuffleDependency的rowBasedChecksums字段

• 同一段代码在Databricks Web Notebook中可正常运行
• DataFrame的repartition操作无异常
• 本地环境：Python 3.8.10 + databricks-connect 10.4.22，与集群依赖版本一致
• 该问题阻碍集群升级至11.3 LTS

可能原因 #

这是databricks-connect在RDD shuffle流程中，本地客户端与集群端的序列化配置不兼容导致的类型匹配错误。KryoSerializer与ShuffleDependency的rowBasedChecksums字段类型不匹配，而DataFrame的repartition由于内部基于Dataset API实现，序列化机制更稳定，因此未受影响。

解决方案 #

1. 临时替代：用DataFrame中转RDD操作 #

利用DataFrame的repartition兼容性，将RDD转为DataFrame完成分区调整后再转回RDD：

# 原报错代码
rdd = sc.parallelize(range(10))
# rdd.repartition(5).sum()  # 触发异常

# 替代实现
df = rdd.toDF("num")
result = df.repartition(5).rdd.map(lambda row: row.num).sum()
print(result)  # 正常输出45

2. 强制使用JavaSerializer #

在本地代码中显式指定序列化器为JavaSerializer，规避Kryo的类型适配问题：

# 初始化SparkContext后设置序列化配置
sc._jsc.hadoopConfiguration().set("spark.serializer", "org.apache.spark.serializer.JavaSerializer")

# 再执行RDD操作
rdd = sc.parallelize(range(10))
print(rdd.repartition(5).sum())

3. 严格匹配版本（针对升级11.3 LTS） #

若要升级至11.3 LTS集群：

• 确保本地databricks-connect版本与集群版本完全一致（执行pip install databricks-connect==11.3.x，x对应集群补丁版本）
• 验证本地Python版本兼容性（11.3 LTS支持Python 3.8/3.9，当前3.8.10符合要求）
• 在测试环境先验证RDD repartition操作，确认无异常后再正式升级

4. 提交官方支持 #

如果上述方法无效，可将问题提交给Databricks官方支持，提供完整报错栈、环境信息及测试代码——这可能是databricks-connect针对RDD shuffle的特定版本bug，需要官方修复。

内容的提问来源于stack exchange，提问作者fskj