Spark展开高度嵌套结构时报Ambiguous reference to fields错误咨询

报错信息：
org.apache.spark.sql.AnalysisException: Ambiguous reference to fields StructField(error,StructType(StructField(array,ArrayType(StructType(StructField(double,DoubleType,true), StructField(int,IntegerType,true), StructField(string,StringType,true)),true),true), StructField(double,DoubleType,true), StructField(int,IntegerType,true), StructField(string,StringType,true), StructField(struct,StructType(StructField(message,StringType,true), StructField(kind,StringType,true), StructField(stack,StringType,true)),true)),true), StructField(Error,StructType(StructField(array,ArrayType(StringType,true),true), StructField(string,StringType,true)),true)

核心触发原因 #

你给出的Schema已经明确暴露了最直接的诱因：同层级同时存在error和Error两个字段。Spark SQL默认关闭大小写敏感（spark.sql.caseSensitive=false），这两个大小写不同的字段会被判定为同名，直接触发引用歧义。

除深度嵌套外的其他常见诱因 #

• 同层级命名规则冲突：除上述全大写、全小写的冲突外，驼峰命名和下划线命名的字段也可能冲突，比如同时存在userInfo和user_info，如果开启了下划线转驼峰的兼容配置，也会被识别为同名字段
• 多表关联后未指定命名空间：两张表存在同名的嵌套结构字段时，Join操作后如果没有加表别名直接引用字段，也会触发歧义
• 嵌套结构展开后的字段重名：用explode、inline等算子展开数组类型的嵌套Struct时，展开生成的字段如果和当前查询上下文已有的字段重名，且没有指定别名，也会触发该报错
• 多文件Schema合并引入的重复字段：读取多个JSON/Parquet文件时，不同文件的同层级Struct包含大小写不同的同名字段，Spark合并Schema时会同时保留两个字段，后续查询时就会触发歧义

快速排查方案 #

可以先临时开启大小写敏感配置验证：SET spark.sql.caseSensitive = true;，如果配置开启后不再报错，即可确认是大小写命名冲突导致的问题，后续引用字段时严格匹配大小写，或者提前给重名字段设置别名即可解决。

内容的提问来源于stack exchange，提问作者123