Databricks中DataFrame转Excel报错：Operation not supported问题求助

问题原因 #

pandas的to_excel方法依赖本地文件系统的IO操作，而Databricks的DBFS（分布式文件系统）不支持这种直接的本地文件写入方式，因此执行dataframe.to_excel("/dbfs/...")时会触发“Os Error Operation not supported in Databricks”错误。

解决方案 #

方法1：先写入本地临时目录，再复制到DBFS #

先将Excel文件写入Databricks节点的本地临时目录，再通过dbutils.fs.cp命令复制到目标DBFS路径：

# 将DataFrame写入本地临时文件
dataframe.to_excel("/tmp/campaign_tracking.xlsx", index=False)
# 复制本地文件到DBFS指定路径
dbutils.fs.cp("file:/tmp/campaign_tracking.xlsx", "/dbfs/mnt/sgi/input/processing/campaign_tracking.xlsx")

方法2：通过内存缓冲区写入DBFS #

利用BytesIO将Excel内容写入内存缓冲区，再直接写入DBFS，无需本地临时文件：

from io import BytesIO

# 创建内存缓冲区对象
excel_buffer = BytesIO()
# 将DataFrame写入缓冲区
dataframe.to_excel(excel_buffer, index=False)
# 将缓冲区指针重置到起始位置
excel_buffer.seek(0)
# 将缓冲区内容写入DBFS路径（overwrite=True可覆盖已有文件）
dbutils.fs.put("/mnt/sgi/input/processing/campaign_tracking.xlsx", excel_buffer.getvalue(), overwrite=True)

注意事项 #

• 确保集群已安装Excel依赖库：pandas的to_excel需要openpyxl（处理.xlsx格式）或xlwt（处理.xls格式），如果未安装，执行以下命令安装：

  %pip install openpyxl
  

• 验证DBFS目标路径的读写权限：确认当前用户对/mnt/sgi/input/processing/路径有写入权限，否则会触发权限错误。

内容的提问来源于stack exchange，提问作者Anubhav