PySpark中如何对DataFrame的array<string>类型列进行哈希/分类？

错误原因 #

sha2() 函数要求第一个参数为 binary 或 string 类型，而你传入的是 array<string> 类型，类型不匹配导致报错。

方案1：忽略数组元素顺序的哈希（推荐内容去重场景） #

如果希望内容相同但顺序不同的数组生成相同哈希值（比如示例中第1行和第3行的keys），需先对数组排序再拼接：

from pyspark.sql import functions as F

df_hashed = df.withColumn(
    "HashedID",
    F.sha2(F.concat_ws("|||", F.sort_array(F.col("keys"))), 256)
).select("col1", "col2", "HashedID")

df_hashed.show(truncate=False)

• sort_array()：对数组元素排序，确保内容一致的数组结构统一
• concat_ws()：用特殊分隔符（如|||）拼接数组为字符串，避免元素内容歧义
• sha2()：对拼接后的字符串生成256位哈希值

方案2：保留数组元素顺序的哈希 #

如果需要严格按照元素顺序生成哈希，跳过排序步骤直接拼接：

from pyspark.sql import functions as F

df_hashed = df.withColumn(
    "HashedID",
    F.sha2(F.concat_ws("|||", F.col("keys")), 256)
).select("col1", "col2", "HashedID")

替代方案：快速分类用内置hash函数 #

如果不需要加密级别的哈希，仅用于分组/分类，可直接使用支持array类型的hash()函数，性能更优：

from pyspark.sql import functions as F

df_hashed = df.withColumn(
    "GroupID",
    F.hash(F.col("keys"))
).select("col1", "col2", "GroupID")

注意：hash()生成整数哈希，碰撞概率高于SHA256，但适合非加密场景。

内容的提问来源于stack exchange，提问作者caroline