Databricks挂载Blob存储时子模块保存Parquet文件为空求助

在挂载了Blob存储的Databricks中执行Python Notebook时，主Notebook里用pandas将大型DataFrame保存为Parquet文件正常，但在导入的子模块中执行相同保存操作时，生成的文件始终为0字节。本地环境运行无问题，已安装pyarrow和pandas，保存代码如下：

df.to_parquet("blob storage location.parquet", index=False, engine="pyarrow")

此前尝试保存为HDF5文件也失败，切换为Parquet后出现空文件问题。

1. 挂载路径上下文不一致 #

子模块无法正确识别Databricks的Blob挂载路径上下文，导致写入路径无效。主Notebook的路径解析依赖Databricks的环境变量，子模块可能缺失该上下文。

• 解决：使用绝对挂载路径（格式为/dbfs/mnt/[你的挂载名]/[具体路径]），确保子模块中的路径与主Notebook完全一致。

2. pyarrow写入缓冲未正确提交 #

Databricks分布式环境下，pyarrow的写入缓冲可能在子模块执行结束前未完成flush，导致仅生成空文件头。

• 解决：手动转换为pyarrow Table并完成写入，替代pandas的封装方法：

import pyarrow as pa
import pyarrow.parquet as pq

table = pa.Table.from_pandas(df)
pq.write_table(table, "/dbfs/mnt/your-mount-path/file.parquet")

3. 子模块与主Notebook环境隔离 #

Databricks中导入的子模块可能使用独立的Python环境，导致pyarrow/pandas版本与主Notebook不一致，引发写入异常。

• 解决：在子模块开头打印依赖版本，确认与主Notebook一致：

import pandas as pd
import pyarrow
print(f"Pandas版本: {pd.__version__}")
print(f"PyArrow版本: {pyarrow.__version__}")

若版本不一致，通过集群配置统一安装对应版本，避免在Notebook中临时安装。

4. 大型DataFrame内存限制 #

子模块中处理大型DataFrame时，内存不足导致写入中断，仅生成空文件。

• 解决：转为Spark DataFrame后保存，利用Databricks分布式处理能力：

# 将pandas DataFrame转为Spark DataFrame
spark_df = spark.createDataFrame(df)
# 写入Parquet到挂载路径
spark_df.write.mode("overwrite").parquet("/dbfs/mnt/your-mount-path/file.parquet")

内容的提问来源于stack exchange，提问作者brokkoo