Azure Databricks写入DataFrame至Blob存储后文件为空求助

问题根源 #

你当前使用dbutils.fs.cp直接复制Hive表的DBFS存储目录到Blob容器的CSV路径，这种方式存在本质问题：

• dbfs:/user/hive/warehouse/fan_enhanced是Hive表的底层存储目录，里面存储的是Spark默认的列式存储文件（如Parquet），并非CSV格式。
• dbutils.fs.cp是文件系统级别的复制操作，不会进行数据格式转换，直接复制目录到单个CSV文件路径时，无法正确生成有效的CSV内容，最终导致空文件或无效文件。

正确实现步骤 #

需要先读取Hive表为DataFrame，再通过DataFrame的写入接口将数据转换为CSV格式写入Blob存储：

修正后的代码 #

# 配置Azure存储账户密钥（保留你的原有配置）
spark.conf.set("fs.azure.account.key.sarcscdataplatform.dfs.core.windows.net", "<storage-account-key>")

# 直接读取Hive表为DataFrame（比使用DBFS路径更可靠）
df = spark.table("fan_enhanced")

# 写入CSV到Blob存储容器
destination_path = "abfss://gold-container@sarcscdataplatform.dfs.core.windows.net/output"
df.write.mode("overwrite") \
  .option("header", "true") \  # 写入CSV表头
  .option("sep", ",") \        # 指定分隔符，默认是逗号
  .csv(destination_path)

关键细节说明 #

1. 读取表的方式：使用spark.table("表名")直接读取Hive表，避免手动拼接DBFS路径可能出现的错误。
2. 写入模式：mode("overwrite")会覆盖目标路径下的已有文件，若需要追加数据可改为mode("append")。
3. 多文件处理：Spark分布式写入CSV时会生成多个part-*.csv文件（对应不同分区的数据），这是正常的分布式计算结果。

生成单个CSV文件（可选） #

如果业务需要单个CSV文件，可先将DataFrame重分区为1，再写入后重命名文件（注意：大数据量下不推荐此方式，会影响性能）：

# 重分区为1后写入
df.repartition(1).write.mode("overwrite") \
  .option("header", "true") \
  .csv(destination_path)

# 查找生成的part文件并重命名
part_files = [f for f in dbutils.fs.ls(destination_path) if f.name.startswith("part-")]
if part_files:
    dbutils.fs.mv(part_files[0].path, f"{destination_path}/output.csv")
    # 删除临时文件（_SUCCESS、.crc等）
    for f in dbutils.fs.ls(destination_path):
        if not f.name == "output.csv":
            dbutils.fs.rm(f.path)

内容的提问来源于stack exchange，提问作者david backx