PySpark中保留Null值生成每行唯一哈希值的方案问询

你遇到的核心问题是concat_ws会自动跳过Null值，导致不同位置Null的行拼接结果一致，最终哈希重复。以下是两种无需替换Null、无需使用row_number的可行方案：

方案1：基于Struct结构体生成哈希 #

利用Spark的struct函数将所有字段按顺序打包成结构体——结构体完整保留每个字段的位置和Null状态，再将结构体转为JSON字符串后计算哈希，确保不同位置Null的行生成不同哈希。

示例代码：

from pyspark.sql import functions as F

# 假设目标DataFrame名为df
df_with_unique_hash = df.withColumn(
    "row_unique_hash",
    F.sha2(F.to_json(F.struct(*df.columns)), 256)
)

原理：struct(*df.columns)会按原字段顺序生成包含所有字段的结构体，to_json将结构体转为JSON字符串时会保留Null字段的键名（比如{"user":"user5","col1":null,"col2":"val"}和{"user":"user5","col1":"val","col2":null}是完全不同的JSON），最终通过sha2生成的256位哈希自然唯一。

方案2：为Null字段添加临时标记后拼接哈希 #

不修改原始数据的Null值，仅在计算哈希时为每个Null字段添加一个唯一的特殊标记字符串，再拼接所有字段内容后计算哈希。

示例代码：

from pyspark.sql import functions as F

# 为每个字段生成带Null标记的临时表达式
processed_fields = [
    F.when(F.col(col).isNull(), "__SPECIAL_NULL_MARKER__")
      .otherwise(F.col(col).cast("string"))
    for col in df.columns
]

# 用唯一分隔符拼接后生成哈希
df_with_unique_hash = df.withColumn(
    "row_unique_hash",
    F.sha2(F.concat_ws("###", *processed_fields), 256)
)

原理：仅在哈希计算逻辑中临时将Null转为特殊标记（原始数据的Null保持不变），使用不会出现在业务数据中的分隔符（比如###）拼接，避免不同字段内容混淆，确保不同位置的Null会生成不同的拼接结果，最终哈希唯一。

两种方案均无需修改原始数据结构，也不需要依赖自增ID，完全基于行的字段内容（包括Null的位置信息）生成唯一哈希。

内容的提问来源于stack exchange，提问作者Ganesh