带Map类型列的DataFrame执行Except操作异常，求移除重复行方案

我完全懂你的困扰——当DataFrame里有Map类型列时，直接用except操作确实会踩坑，而且删掉Map列再处理的话，根本没法对应回原来的行，完全行不通。别着急，咱们用左外连接+过滤的方法就能完美解决这个问题，既能保留所有列（包括Map列），又能精准移除dfA中与dfB重复的行。

核心思路 #

通过左外连接把dfA和dfB关联起来，关联条件是所有列（包括Map列）完全相等，然后过滤掉那些在dfB中有匹配的行，剩下的就是dfA独有的数据。这种方法绕开了except对复杂类型的限制，同时能完整保留原数据的所有字段。

代码示例 #

Scala版本

import org.apache.spark.sql.functions.col

// 获取所有列名，用来构建连接条件
val allColumns = dfA.columns

// 生成所有列相等的连接条件（包括Map列）
val joinCondition = allColumns.map(colName => dfA(colName) === dfB(colName)).reduce(_ && _)

// 左外连接后过滤出dfA中无匹配的行，最后只保留dfA的原始列
val dfAWithoutDuplicates = dfA.join(dfB, joinCondition, "left_outer")
  .where(dfB("id").isNull) // 用任意一个非空列判断是否匹配到dfB的行
  .select(dfA.columns.map(dfA(_)): _*)

Python版本

import functools
from pyspark.sql.functions import col

# 获取所有列名
all_columns = dfA.columns

# 构建所有列相等的连接条件
join_condition = [dfA[col] == dfB[col] for col in all_columns]
join_condition = functools.reduce(lambda a, b: a & b, join_condition)

# 左外连接+过滤，得到去重后的dfA
dfA_without_duplicates = dfA.join(dfB, join_condition, "left_outer") \
  .where(dfB["id"].isNull) \
  .select(dfA.columns)

为什么这个方法可行？ #

Spark的join操作支持Map类型的相等判断（只要两个Map的键值对完全一致就会被判定为相等），左外连接会保留dfA的每一行：

• 如果某行在dfB中有完全匹配的行，那么dfB的列会有值；
• 如果没有匹配，dfB的列会全部为null。

我们只需要过滤掉dfB列不为null的行，剩下的就是dfA中不存在于dfB的行，完美实现了except的效果，还保留了所有原始列。

内容的提问来源于stack exchange，提问作者Nick01