使用Databricks Connect将Delta流写入PostgreSQL时遇PYTHON_UID错误

核心问题定位 #

No PYTHON_UID found for session这个错误，本质是用databricks-connect 14.2.1执行流处理的foreachBatch时，本地定义的Python函数无法正确绑定到集群的会话上下文，导致任务还没进入自定义处理逻辑就报错中断。

针对性解决办法 #

1. 把处理逻辑放到集群上执行 #

foreachBatch的自定义函数如果存在本地代码里，databricks-connect转发任务时会出现上下文绑定问题。解决步骤：

• 把process_df18函数打包成Python wheel，或者直接把代码文件上传到Databricks的DBFS/Repos目录
• 在集群上提前安装好需要的依赖（比如psycopg2-binary）
• 修改流处理代码，引用集群上的函数：

# 假设代码文件已上传到dbfs:/jobs/process_utils.py
spark.sparkContext.addPyFile("dbfs:/jobs/process_utils.py")
from process_utils import process_df18

(df.writeStream
 .foreachBatch(process_df18)
 .outputMode("update")
 .trigger(processingTime="30 seconds")
 .option('checkpointLocation', f'{__checkpoint_location}')
 .start()
 .awaitTermination())

2. 调整databricks-connect版本 #

14.2.1版本的databricks-connect存在流处理foreachBatch的兼容性bug，可以尝试：

• 降级到13.3 LTS版本（长期支持版稳定性更强）
• 升级到14.3及以上版本（官方已修复部分会话绑定问题）
  执行命令替换版本：

pip uninstall -y databricks-connect
pip install databricks-connect==13.3.0

3. 显式配置会话的Python环境 #

创建会话时，添加Python相关配置，确保上下文正确初始化：

spark = (DatabricksSession.builder.sdkConfig(__config)
         .config("spark.databricks.pyspark.enablePythonWorker", "true")
         .config("spark.python.executable", "/usr/bin/python3") # 按集群实际Python路径调整
         .remote()
         .getOrCreate())

4. 直接在Databricks工作区提交流处理任务 #

Databricks Connect更适合交互式查询和批处理，流处理任务建议直接在工作区运行：

• 把完整代码上传到Databricks Repos
• 创建作业任务，选择对应集群执行
• 通过作业日志查看运行状态，彻底避开本地会话绑定的问题

验证注意事项 #

• 每次修改后，先清空checkpoint目录，避免旧状态干扰新任务
• 重启本地Python环境和Databricks集群，确保配置生效
• 先测试简单的foreachBatch逻辑（比如只打印batch_id），确认能正常触发函数后再写业务代码

内容的提问来源于stack exchange，提问作者Mohamed Aoutir