Azure Databricks中Koalas DataFrame合并失败，报Job aborted错误

报错原因 #

问题核心是Koalas默认使用本地checkpoint（数据存储在executor本地磁盘），而自动伸缩集群会在空闲时回收executor，导致存储checkpoint块的节点被销毁，后续任务无法找到对应块，从而触发Checkpoint block not found错误。

解决方案 #

1. 配置全局Checkpoint目录到分布式存储

将Koalas的checkpoint目录设置到DBFS（Databricks分布式文件系统），替代本地存储：

import databricks.koalas as ks
# 设置DBFS上的全局checkpoint路径
ks.set_option('compute.default_checkpoint_dir', '/dbfs/koalas_global_checkpoints')

# 重新执行concat操作
combined_ks_df = ks.concat([df1, df2], ignore_index=True)

2. 改用PySpark原生Union操作（更稳定）

由于两个DataFrame结构完全一致，直接用PySpark的原生union操作，再转回Koalas，避免Koalas内部的checkpoint依赖：

# 转换为PySpark DataFrame并执行unionByName（确保列名匹配）
spark_df_combined = df1.to_spark().unionByName(df2.to_spark())

# 转回Koalas并重置索引
combined_ks_df = spark_df_combined.to_koalas().reset_index(drop=True)

3. 调整集群自动伸缩参数

减少executor被频繁回收的概率：

• 调高executor空闲超时时间：在集群配置中，将Idle termination timeout从默认120秒调整为300秒以上
• 提高最小节点数：比如将最小节点从2调整到5，降低节点伸缩频率，避免关键节点被回收

4. 提前持久化Koalas DataFrame

在concat前将数据持久化到内存+磁盘，减少对checkpoint的依赖：

# 持久化df1和df2
df1 = df1.persist()
df2 = df2.persist()

# 执行concat
combined_ks_df = ks.concat([df1, df2], ignore_index=True)

内容的提问来源于stack exchange，提问作者Nikesh