PySpark中十六进制哈希转十进制时出现空值的问题

问题原因分析 #

你遇到的hash_int1出现null的情况，核心原因是数值范围超出了PySpark bigint类型的上限：

• PySpark里的bigint对应Java的long类型，最大值是9223372036854775807（约9e18）
• 16位十六进制字符串的最大值是FFFFFFFFFFFFFFFF，转成十进制是18446744073709551615（约1.8e19），这个值远远超过了bigint的上限，所以cast("bigint")时会直接返回null
• 而15位十六进制的最大值是FFFFFFFFFFFFFF，转十进制是72057594037927935（约7e16），在bigint范围内，所以能正常转换

Python的int类型没有固定上限，所以可以轻松处理这个大数值，这就是为什么Python里转换正常，但PySpark里出问题的关键差异。

解决办法：用DecimalType存储超大数值 #

我们可以用PySpark的DecimalType（支持自定义高精度，完全容纳超大数值）替代bigint来存储转换结果，直接匹配你当前的代码逻辑：

from pyspark.sql.functions import col, sha2, conv, substring
from pyspark.sql.types import DecimalType

# 原始用户数据部分不变
user_data = [
    ("100052441000101", "21001"),
    ("100052441000102", "21002"),
    ("100052441000103", "21002"),
    ("user1", "21001"),
    ("user2", "21002")
]

df_users = spark.createDataFrame(user_data, ["user_id", "ZIP"])

# 生成SHA-256哈希
df_users = df_users.withColumn("hash_key", sha2(col("user_id"), 256))

# 截取哈希子串并转换为十进制（替换bigint为高精度Decimal）
df_users = df_users.withColumn("hash_substr1", substring(col('hash_key'), 1, 16))
df_users = df_users.withColumn("hash_substr2", substring(col('hash_key'), 1, 15))
# 用decimal(38,0)存储，38位精度完全覆盖16位十六进制的最大值
df_users = df_users.withColumn("hash_int1", conv(col('hash_substr1'), 16, 10).cast(DecimalType(38, 0)))
# 15位十六进制仍在bigint范围内，可保留原逻辑
df_users = df_users.withColumn("hash_int2", conv(col('hash_substr2'), 16, 10).cast("bigint"))

# 生成可复现的随机值（Decimal支持正常模运算）
df_users = df_users.withColumn("random_value", (col("hash_int1") % 10**12) / 10**12)

# 查看关键列结果
df_users.select("user_id", "hash_substr1", "hash_int1", "random_value").show(truncate=False)

效果验证 #

修改后，原本为null的hash_int1会正常显示完整的十进制数值，和你用Python计算的结果完全一致，同时可以顺利生成0到1之间的可复现随机值。比如第二个用户的hash_substr1是e18aec7bb2a60b62，转成Decimal后就是16252062221342215010，模10^12后就能得到符合需求的随机值。

额外小提示 #

如果你的业务只需要生成可复现随机值，其实也可以直接对十六进制哈希做分段映射，不用完全转十进制，但用DecimalType解决数值溢出是最贴合你现有代码逻辑的方案，零成本适配你的实现思路。

备注：内容来源于stack exchange，提问作者Gaurav Singhal