如何使用spark-excel跳过Excel文件顶部损坏的3行？

别担心，虽然spark-excel的官方文档没直接提到这个功能，但有几种实用的方法可以实现跳过顶部3行损坏数据的需求，下面给你详细说明：

方法1：利用headerRowNumber指定表头位置（推荐） #

如果你的有效表头在第4行（前面3行为损坏数据），可以直接通过headerRowNumber选项指定表头所在的行号（行号从1开始计数），Spark会自动跳过前面的无效行。修改你的代码如下：

Dataset<Row> ds = session.read()
    .format("com.crealytics.spark.excel")
    .option("location", filePath)
    .option("sheetName", "Feuil1")
    .option("useHeader", "true")
    .option("headerRowNumber", 4) // 指定表头在第4行，自动跳过前3行
    .option("delimiter", "|")
    .option("treatEmptyValuesAsNulls", "true")
    .option("inferSchema", "true")
    .load();

这个方法最直接高效，让Spark在读取阶段就跳过无效行，不需要后续额外处理。

方法2：读取所有行后过滤（适用于复杂损坏场景） #

如果损坏行的情况比较特殊（比如表头不在第4行、损坏行格式混乱），可以先读取所有内容，再通过行号过滤掉前3行：

步骤1：先读取所有行（不识别表头） #

Dataset<Row> rawDs = session.read()
    .format("com.crealytics.spark.excel")
    .option("location", filePath)
    .option("sheetName", "Feuil1")
    .option("useHeader", "false") // 暂时不识别表头
    .option("delimiter", "|")
    .option("treatEmptyValuesAsNulls", "true")
    .option("inferSchema", "true")
    .load();

步骤2：添加行号并过滤无效行 #

通过Spark的窗口函数给每行添加行号，然后过滤掉行号≤3的行：

import org.apache.spark.sql.functions;
import org.apache.spark.sql.Window;

// 添加从1开始计数的行号列
Dataset<Row> numberedDs = rawDs.withColumn("row_num", functions.row_number().over(Window.orderBy(functions.lit(1))));

// 过滤前3行
Dataset<Row> filteredDs = numberedDs.filter(functions.col("row_num").gt(3)).drop("row_num");

步骤3：重新设置表头（如果需要） #

如果有效表头在原第4行（现在filteredDs的第一行），可以提取该行作为列名，再过滤掉表头行：

import java.util.Arrays;
import java.util.List;

// 获取表头行数据
Row headerRow = filteredDs.first();
List<String> columnNames = Arrays.asList(headerRow.mkString("|").split("\\|"));

// 重命名列并过滤掉表头行
Dataset<Row> finalDs = filteredDs.filter(functions.col("_c0").notEqual(headerRow.getString(0)))
    .toDF(columnNames.toArray(new String[0]));

这种方法灵活性更高，适合复杂的损坏场景，但性能略逊于第一种方法，因为需要读取所有行后再处理。

注意事项 #

• headerRowNumber的行号是从1开始计数的，不要和0索引混淆。
• 如果损坏行的格式完全破坏了Excel结构，可能会导致读取失败，此时可以先尝试用方法2读取，或者手动清理Excel的损坏行后再读取。

内容的提问来源于stack exchange，提问作者Abdennacer Lachiheb