如何在PySpark中生成XLSX文件？替代CSV输出方案

PySpark原生不支持直接输出XLSX格式，所以直接把代码里的"CSV"替换成"XLSX"肯定行不通，得借助第三方的spark-excel库来实现，具体步骤如下：

1. 在Dataiku中配置依赖 #

• 打开你的Dataiku项目，进入代码环境（Code environments）页面
• 找到当前使用的PySpark环境，添加Maven依赖：com.crealytics:spark-excel_2.12:0.13.7

  注意：Scala版本要和你的Spark版本匹配，Spark 3.x系列对应Scala 2.12；若使用Spark 2.x，需换成com.crealytics:spark-excel_2.11:0.12.7

• 保存配置后重启代码环境，确保依赖生效

2. 编写PySpark输出XLSX的代码 #

假设你已经有了要输出的PySpark DataFrame（比如名为df），可以用以下代码生成XLSX文件：

# 输出XLSX到指定路径
df.write.format("com.crealytics.spark.excel") \
    .option("header", "true")  # 是否写入表头
    .option("dataAddress", "'Sheet1'!A1")  # 指定工作表和起始单元格
    .option("usePlainNumberFormat", "true")  # 避免数字被转成文本格式
    .mode("overwrite")  # 写入模式：overwrite覆盖，append追加，ignore忽略
    .save("/your/output/path/result.xlsx")

3. Dataiku专属注意事项 #

• 输出路径要选择Dataiku集群能访问的存储（比如HDFS、本地磁盘、S3等，取决于你的部署架构）
• 如果要将XLSX文件作为Dataiku数据集使用，可以在输出完成后，通过文件数据集导入该XLSX文件

内容的提问来源于stack exchange，提问作者Darwin Garcia Martinez