如何使用Apache Spark Scala读取整个目录下的XLSX文件？

嘿，这个问题其实超直接的——spark-excel和Spark的文件系统抽象兼容得特别好，批量读取整个目录的XLSX根本不需要复杂的循环或者额外处理。下面给你具体的实现步骤和需要注意的细节：

核心就是把读取路径直接指向存放XLSX的目录，Spark会自动帮你遍历目录下的所有符合条件的文件。直接上Scala代码：

import org.apache.spark.sql.SparkSession

object ExcelBatchReader {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("BatchExcelReader")
      .master("local[*]") // 本地测试用，生产环境记得去掉这行
      .getOrCreate()

    import spark.implicits._

    // 关键：这里填你的XLSX目录路径，不是单个文件路径
    val excelDirPath = "/path/to/your/target-directory"

    val df = spark.read
      .format("com.crealytics.spark.excel")
      .option("header", "true") // 假设你的XLSX有表头，无表头就改成false
      .option("inferSchema", "true") // 自动推断字段类型，生产环境建议手动指定schema
      .option("recursiveFileLookup", "true") // 需要读取子目录的话一定要加这个参数
      .load(excelDirPath)

    // 验证读取结果
    df.show(5)
    df.printSchema()

    spark.stop()
  }
}

• recursiveFileLookup: 如果你的目标目录下还有嵌套子目录，并且需要读取子目录里的XLSX，一定要加上这个选项——默认情况下Spark只会读取当前目录下的文件，不会深入子目录。
• header: 控制是否把XLSX的第一行作为DataFrame的列名，根据你的文件结构调整即可。
• inferSchema: 自动推断字段类型的话，测试阶段用着很方便，但生产环境因为性能和准确性问题，建议手动定义schema，比如：

import org.apache.spark.sql.types._

// 自定义schema，和你的XLSX字段对应
val customSchema = StructType(Array(
  StructField("user_id", IntegerType, nullable = true),
  StructField("user_name", StringType, nullable = true),
  StructField("order_amount", DoubleType, nullable = true),
  StructField("order_date", DateType, nullable = true)
))

val df = spark.read
  .format("com.crealytics.spark.excel")
  .option("header", "true")
  .schema(customSchema) // 使用自定义schema替代自动推断
  .load(excelDirPath)

如果你的目录里混有非XLSX文件，或者只想读取特定命名规则的文件，可以用pathGlobFilter选项做过滤：

val df = spark.read
  .format("com.crealytics.spark.excel")
  .option("header", "true")
  .option("pathGlobFilter", "*.xlsx") // 只读取后缀为.xlsx的文件
  .option("recursiveFileLookup", "true")
  .load(excelDirPath)

• 确保目录下所有XLSX文件的结构一致（列名、字段类型匹配），否则Spark读取时会出现schema冲突报错。如果文件结构不一致，你可能需要分别读取后再做合并，或者提前处理好schema兼容的问题。
• 依赖版本匹配：你用的0.12.3是稳定版本，但要注意和你的Spark版本对应——0.12.x系列支持Spark 2.4.x到3.0.x，如果你用的是Spark 3.1+，建议升级到0.13.x或更高版本（不过如果当前版本能正常运行，也可以不用急着更）。

内容的提问来源于stack exchange，提问作者javier_orta