Spark配置spark.sql.caseSensitive不生效如何实现大小写敏感Join

核心问题原因 #

spark.sql.caseSensitive配置的作用是控制Spark SQL中标识符（列名、表名、库名等）的大小写敏感性，和字段内存储的字符串值的比较逻辑完全无关。你修改这个配置不会影响join时的字符串等值判断规则，所以两种配置下的执行结果完全一致。
默认Spark的字符串等值比较本身就是大小写敏感的，所以你测试数据中df1的Java和df2的java会判定为不相等，自然无法匹配到对应结果。

对应解决方案 #

场景1：需要实现大小写不敏感关联（让Java和java可匹配） #

关联时统一将两边的关联字段转为相同大小写即可，推荐使用以下方式：

• 常规场景写法

from pyspark.sql.functions import lower

# 关联时统一转小写，也可替换为upper()统一转大写
df = df1.join(
    df2, 
    lower(df1.language) == lower(df2.language), 
    how="inner"
).select(df1.language, "users_count", "note") # 指定字段避免返回两个language列

• 关联字段可能存在空值的场景

from pyspark.sql.functions import lower, col

# eqNullSafe可以正确处理空值的匹配逻辑
df = df1.alias("df1").join(
    df2.alias("df2"), 
    lower(col("df1.language")).eqNullSafe(lower(col("df2.language"))), 
    how="inner"
)

场景2：需要严格大小写敏感关联 #

这是Spark的默认行为，不需要额外配置。如果需要让java可以匹配上，需要提前对两边的关联字段值做大小写标准化处理，保证匹配的两边值大小写完全一致即可。 #

内容的提问来源于stack exchange，提问作者Aditya