Spark 含数组列的两个DataFrame关联报列引用歧义的解决

先说你遇到的歧义报错本质 #

两个DataFrame里都存在名为subject的字段，你在join条件里直接裸写subject的时候，Spark根本分不清你要引用的是哪个表的字段：是dataframeTwo里存学生选修科目的数组类型subject，还是dataframeOne里存单条科目名的字符串类型subject。
你看到的异常里提到的Reference 'unicode' is ambiguous，就是因为裸写的列没有加上所属DataFrame的限定，SQL解析器在做字段匹配的时候把同名字段做了误识别，才抛出了看起来和subject不相关的歧义错误。

除了列引用歧义，你原来写的代码本身还有两处逻辑问题：

• 给dataframeTwo新增myMarks列的时候，引用的marks字段根本不在dataframeTwo的结构里，这步单独执行就会报错
• join完成后没有按学生维度分组，直接调用collect_list会把全表的所有分数聚合成一行，根本没法得到每个学生对应自己科目的分数列表

正确实现逻辑 #

要达成预期输出，核心是两步：

1. 明确列归属做join匹配：用array_contains做判断时，第一个参数传学生表的数组类型科目列表，第二个参数传科目分数表的单条科目名，每处列引用都用DataFrame.col()方法绑定归属，彻底避免歧义
2. 按学生维度聚合：join完成后按name字段分组，把匹配到的分数收集成列表，作为最终的输出字段

可直接复用的代码 #

// 带明确列归属的join，不会触发歧义
val joinedTemp = dataframeOne.join(
  dataframeTwo,
  // 明确指定：数组列来自学生表，待匹配的科目值来自分数表
  array_contains(dataframeTwo.col("subject"), dataframeOne.col("subject"))
)

// 按学生姓名分组，收集对应分数
val finalResult = joinedTemp
  .groupBy("name")
  .agg(collect_list("marks").alias("marks"))

// 验证输出
finalResult.show()

常见踩坑补充 #

• 如果需要保留所有学生，哪怕他选的科目在分数表里没有对应记录，可以把join改成左外连接，没有匹配到的分数会自动填充null
• 默认collect_list是不保证顺序的，如果要求输出的分数顺序和学生选的科目顺序完全一致，可以先对学生表的subject数组用posexplode拆成（数组索引, 科目名）的结构，再和分数表join，最后按索引聚合排序，避免出现分数顺序和选修科目顺序对不上的问题

内容的提问来源于stack exchange，提问作者tharindu