Databricks中TensorFlow模型权重跨集群无法访问问题求助

问题原因 #

你遇到的情况并非权重被保存到集群内存，而是部分机器学习框架（如Keras/TensorFlow）的save_weights方法在处理dbfs:/格式路径时，未正确通过Databricks的FUSE挂载机制写入分布式DBFS存储，而是将文件写到了Cluster1执行代码的单个节点本地文件系统中。因此只有Cluster1的节点能访问到该文件，Cluster2的节点访问分布式DBFS或自身本地文件系统时，自然找不到对应路径。

可行解决方案 #

1. 使用FUSE本地挂载路径保存权重 #

将DBFS路径从dbfs:/格式改为/dbfs/格式（这是Databricks将分布式DBFS挂载到节点本地的路径），确保框架直接写入同步到分布式存储的路径：

path='/dbfs/Shared/P1-Prediction/Weights_folder/Weights'
model.save_weights(path)

2. 用Databrils工具类验证文件写入 #

保存完成后，使用dbutils.fs.ls命令直接访问分布式DBFS，验证文件是否存在，该命令比系统ls更可靠：

dbutils.fs.ls("/Shared/P1-Prediction/Weights_folder")

3. 手动复制本地文件到DBFS（备用方案） #

如果框架仍默认写入本地路径，可先保存到本地临时目录，再通过Databricks工具类复制到共享DBFS路径：

# 保存到本地临时路径
local_path='/tmp/model_weights'
model.save_weights(local_path)
# 复制到DBFS共享路径
dbutils.fs.cp(f"file:{local_path}", "/Shared/P1-Prediction/Weights_folder/Weights", recurse=True)

内容的提问来源于stack exchange，提问作者user3234112