如何使用Java在Spark中将Dataset写入xls和xlsx（Excel）文件？

Spark本身没有原生支持Excel文件的读写能力，你之前生成CSV格式的文件，大概率是因为没引入正确的第三方依赖，或者写入时指定的格式不对。下面是具体的实现方案：

1. 引入依赖 #

使用com.crealytics的spark-excel库（基于Apache POI封装），它能直接支持Spark Dataset写入xls/xlsx格式。根据你的Spark版本选择对应依赖，以Maven为例：

<dependency>
    <groupId>com.crealytics</groupId>
    <artifactId>spark-excel_2.12</artifactId>
    <version>0.13.7</version> <!-- 适配Spark 3.x、Scala 2.12，按需调整版本 -->
</dependency>

2. Java代码实现 #

初始化SparkSession并准备测试数据 #

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.RowFactory;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;

import java.util.ArrayList;
import java.util.List;

public class SparkExcelExporter {
    public static void main(String[] args) {
        SparkSession spark = SparkSession.builder()
                .appName("ExcelExport")
                .master("local[*]") // 本地测试用，生产环境删除该行
                .getOrCreate();

        // 构造测试Dataset
        List<Row> dataList = new ArrayList<>();
        dataList.add(RowFactory.create("Alice", 25, "Data Engineer"));
        dataList.add(RowFactory.create("Bob", 32, "Product Manager"));
        dataList.add(RowFactory.create("Charlie", 28, "Frontend Developer"));

        StructType schema = DataTypes.createStructType(new StructField[]{
                DataTypes.createStructField("name", DataTypes.StringType, false),
                DataTypes.createStructField("age", DataTypes.IntegerType, false),
                DataTypes.createStructField("job_title", DataTypes.StringType, false)
        });

        Dataset<Row> df = spark.createDataFrame(dataList, schema);

写入xlsx文件 #

// 导出为xlsx格式
        df.write()
                .format("com.crealytics.spark.excel")
                .option("header", "true") // 是否包含表头
                .option("dataAddress", "'员工信息'!A1") // 指定工作表名称和起始单元格
                .mode(org.apache.spark.sql.SaveMode.Overwrite) // 覆盖已有文件
                .save("/path/to/output.xlsx");

写入xls文件 #

只需添加fileFormat参数明确指定为xls即可：

// 导出为xls格式
        df.write()
                .format("com.crealytics.spark.excel")
                .option("header", "true")
                .option("dataAddress", "'员工信息'!A1")
                .option("fileFormat", "xls") // 指定文件格式为xls
                .mode(org.apache.spark.sql.SaveMode.Overwrite)
                .save("/path/to/output.xls");
    }
}

3. 常见问题说明 #

• 为什么之前生成的是CSV？
  若未引入spark-excel依赖，Spark无法识别com.crealytics.spark.excel格式，可能会默认使用CSV写入；或者你误将format("csv")的输出文件后缀改成了.xlsx/xls，本质仍是CSV内容。
• 生成多个文件？
  Spark是分布式计算框架，默认按分区生成多个文件。如果需要单个文件，可以使用df.coalesce(1)合并分区，但大数据量下不建议这么做，会导致单点压力过大。
• Excel行数限制
  xls单个工作表最多支持65536行，xlsx最多支持1048576行，数据超出时需拆分工作表或调整输出方式。

内容的提问来源于stack exchange，提问作者Jernic Roy A