Spark 2.3与3.2同查询执行行为差异及问题排查

问题现象 #

在Spark 2.3和3.2（含2.4及以上版本）中运行以下查询：

启动命令 #

spark-shell --master yarn --deploy-mode client

查询代码 #

val df1 = sc.parallelize(List((1,2,3,4,5),(1,2,3,4,5))).toDF("id","col2","col3","col4", "col5")
val op_cols = List("id","col2","col3","col4", "col5", "ID")
val df2 = df1.select(op_cols.head, op_cols.tail: _*)
df2.select("id").show()

• Spark 2.3结果：正常返回id列数据

+----+
| id |
+----+
| 1  |
| 1  |
+----+

• Spark 3.2/2.4结果：抛出歧义错误

org.apache.spark.sql.AnalysisException: Reference 'id' is ambiguous, could be: id, id.;
  at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan.resolve(LogicalPlan.scala:213)
  at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan.resolveChildren(LogicalPlan.scala:97)

尝试设置以下参数统一行为，但无效果：

spark.sql.analyzer.failAmbiguousSelfJoin=false
spark.sql.caseSensitive=False

当使用相同大小写的重复列名时，查询在所有版本中均正常：

val df1 = sc.parallelize(List((1,2,3,4,5),(1,2,3,4,5))).toDF("id","col2","col3","col4", "col5")
val op_cols = List("id","col2","col3","col4", "col5", "id")
val df2 = df1.select(op_cols.head, op_cols.tail: _*)
df2.select("id").show()

原因分析 #

1. 版本行为变更：Spark 2.4版本对SQL解析逻辑做了严谨性优化，当DataFrame中存在重复列名（在大小写不敏感模式下，ID和id被视为同一列名），后续查询该列名时会触发歧义检测，抛出错误；而Spark 2.3对该场景处理更宽松，会自动选择第一个匹配的列返回。
2. 参数无效原因：spark.sql.analyzer.failAmbiguousSelfJoin仅针对自连接场景中表别名导致的列歧义，不适用于当前DataFrame内重复列的情况；spark.sql.caseSensitive=false反而让ID和id被解析为同名列，导致df2中存在两个id列，加剧歧义。

解决方案 #

1. 清理重复列名 #

统一列名大小写后去重，避免生成重复列：

val df1 = sc.parallelize(List((1,2,3,4,5),(1,2,3,4,5))).toDF("id","col2","col3","col4", "col5")
val op_cols = List("id","col2","col3","col4", "col5", "ID")
// 统一转为小写后去重，确保列唯一
val unique_cols = op_cols.map(_.toLowerCase).distinct
val df2 = df1.select(unique_cols.head, unique_cols.tail: _*)
df2.select("id").show()

2. 为重复列设置别名 #

如果业务需要保留重复列，通过别名区分列名：

val df1 = sc.parallelize(List((1,2,3,4,5),(1,2,3,4,5))).toDF("id","col2","col3","col4", "col5")
// 对重复列设置别名，避免名称冲突
val op_cols = List($"id", $"col2", $"col3", $"col4", $"col5", $"id".alias("id_dup"))
val df2 = df1.select(op_cols: _*)
df2.select("id").show()

3. 启用大小写敏感模式 #

若业务允许，开启大小写敏感模式，使ID和id被视为不同列：

# 启动时设置参数
spark-shell --master yarn --deploy-mode client --conf spark.sql.caseSensitive=true

此时查询原代码不会报错，df2将包含id和ID两个独立列，select("id")只会返回原id列数据。

补充说明 #

• 该行为变更是Spark官方为提升SQL解析严谨性做出的调整，从2.4版本开始生效，旨在避免隐式行为导致的业务逻辑错误。
• 若需兼容旧版本行为，优先采用清理重复列或设置别名的方案，避免依赖宽松的解析逻辑。

内容的提问来源于stack exchange，提问作者ASR