使用spark-excel读取含重复列的Excel文件报错，如何解决？

我之前也碰到过这个问题，本质是Spark SQL的Schema要求列名必须唯一，而spark-excel默认会直接沿用Excel的表头作为列名，一旦有重复就触发了SchemaUtils里的列名重复检查，也就是你看到的AnalysisException。下面给你几个可行的解决办法：

方法一：手动指定自定义Schema（推荐已知列结构的场景） #

如果提前清楚Excel里的列顺序和数据类型，最直接的方式就是手动定义Schema，给重复的列名加上后缀区分，读取时指定这个Schema即可跳过自动推断：

import org.apache.spark.sql.types._

// 自定义Schema，把重复的"net territory"改成"net territory_1"和"net territory_2"
val customSchema = StructType(Array(
  StructField("order_id", IntegerType, nullable = true),
  StructField("net territory_1", StringType, nullable = true),
  StructField("net territory_2", StringType, nullable = true),
  StructField("sales_amount", DoubleType, nullable = true)
  // 其他列按实际情况补充
))

// 读取Excel时指定自定义Schema
val df = spark.read
  .format("com.crealytics.spark.excel")
  .option("header", "true")
  .schema(customSchema)
  .load("/path/to/your/excel/file.xlsx")

注意：自定义Schema的列顺序必须和Excel里的列顺序完全一致，否则会出现数据错位的问题。

方法二：动态处理重复列（适合未知列结构的场景） #

如果没法提前确定Excel的列结构，可以先不带表头读取，再提取表头行给重复列自动添加后缀：

// 第一步：不带表头读取，列名默认是_c0、_c1、_c2...
val tempDf = spark.read
  .format("com.crealytics.spark.excel")
  .option("header", "false")
  .load("/path/to/your/excel/file.xlsx")

// 第二步：提取第一行作为原始表头
val headerRow = tempDf.first()
val originalHeaders = (0 until headerRow.length).map(headerRow.get(_).toString)

// 第三步：给重复的表头添加计数后缀
val newHeaders = originalHeaders.zipWithIndex.map { case (name, idx) =>
  // 统计当前列之前有多少个同名的列
  val duplicateCount = originalHeaders.take(idx).count(_ == name)
  if (duplicateCount > 0) s"${name}_${duplicateCount}" else name
}

// 第四步：移除临时DataFrame的表头行，并重命名所有列
val finalDf = tempDf.filter(row => row != headerRow)
  .toDF(newHeaders: _*)

这个方法会自动处理所有重复列，不管有多少个重复都能生成唯一的列名，适合动态读取不同结构的Excel文件。

额外建议 #

如果源Excel的重复列是误操作导致的，优先建议修改源文件的列名；如果无法修改源文件，上述两种方法都可以完美规避报错。另外，如果你用的是Python版本的Spark，代码逻辑是完全一致的，只是语法上稍微调整即可。

内容的提问来源于stack exchange，提问作者Nanaji