如何在Spark SQL中对包含null值的列执行join关联操作

你最初使用=关联含NULL值列不生效是符合SQL标准的：SQL中NULL与任意值（包括NULL本身）的等值比较结果都是UNKNOWN，会被JOIN条件过滤，无法实现NULL匹配NULL的需求。
IS NOT DISTINCT FROM本身就是为了适配NULL值相等判断的语法，结果不符合预期可按以下方案排查解决：

1. 统一关联列数据类型 #

• 检查两张表col_with_nulls字段的数据类型是否完全一致，常见如一方为INT、另一方为STRING，或精度不同的DECIMAL类型，隐式转换会导致NULL值匹配逻辑异常。将列强转为相同类型后再关联即可：

select ...
from a
join b
on cast(a.col_with_nulls as 统一数据类型) is not distinct from cast(b.col_with_nulls as 统一数据类型)
and a.col_without_nulls = b.col_without_nulls

2. 兼容写法：使用COALESCE自定义占位符 #

如果类型统一后仍不符合预期，可以使用全版本兼容的COALESCE写法实现NULL匹配逻辑，注意占位符需要选择该列业务场景中不会出现的取值，避免误匹配：

-- 字符串类型列示例，占位符用业务不存在的特殊字符串
select ...
from a
join b
on COALESCE(a.col_with_nulls, '__NULL_PLACEHOLDER__') = COALESCE(b.col_with_nulls, '__NULL_PLACEHOLDER__')
and a.col_without_nulls = b.col_without_nulls

-- 数值类型列示例，占位符用业务不存在的特殊数值
select ...
from a
join b
on COALESCE(a.col_with_nulls, -999999) = COALESCE(b.col_with_nulls, -999999)
and a.col_without_nulls = b.col_without_nulls

3. 确认JOIN类型匹配业务需求 #

如果上述两种方案都无法解决，确认你需要的是否为LEFT JOIN/RIGHT JOIN/FULL JOIN而非默认的INNER JOIN：INNER JOIN仅会保留两边关联条件完全匹配的行，需要保留某一侧未匹配的行时，需要替换为对应的JOIN类型。

内容的提问来源于stack exchange，提问作者Randomize