Spark实现SSN列值无碰撞随机置换至另一唯一列的方案

核心思路 #

将SSN转换为整数，利用循环移位置换保证每个SSN对应唯一的非自身置换值，再将置换后的整数转回SSN格式。该方案全程使用Spark原生函数，无额外shuffle开销（仅初始交叉连接需数据分发），完美适配10亿级数据规模。

步骤实现 #

1. 生成所有xx-xxx-xxxx格式的SSN #

通过Spark分布式生成各段数字组合，交叉连接后拼接成标准SSN格式：

from pyspark.sql import SparkSession
from pyspark.sql.functions import lpad, concat, col, lit, expr

spark = SparkSession.builder.appName("SSNGenerator").getOrCreate()

# 生成前两位（00-99）
df_a = spark.range(0, 100).select(lpad(col("id"), 2, "0").alias("a"))
# 生成中间三位（000-999）
df_b = spark.range(0, 1000).select(lpad(col("id"), 3, "0").alias("b"))
# 生成后四位（0000-9999）
df_c = spark.range(0, 10000).select(lpad(col("id"), 4, "0").alias("c"))

# 交叉连接生成全量SSN
df_ssn = df_a.crossJoin(df_b).crossJoin(df_c) \
    .select(concat(col("a"), lit("-"), col("b"), lit("-"), col("c")).alias("ssn"))

2. 生成唯一非自身的false_ssn #

将SSN转为整数执行循环置换，再转回标准格式：

# 将SSN转换为无符号整数（移除连字符后转bigint）
df_ssn = df_ssn.withColumn("ssn_num", expr("cast(replace(ssn, '-', '') as bigint)"))

# 循环置换：每个整数映射为 (num + 1) mod 1000000000（10亿）
# 该规则保证：每个值唯一，且永远不等于原数（10亿>1，无自环）
df_ssn = df_ssn.withColumn("false_ssn_num", expr("mod(ssn_num + 1, 1000000000)"))

# 将置换后的整数转回xx-xxx-xxxx格式
df_ssn = df_ssn.withColumn(
    "false_ssn",
    concat(
        # 提取前两位
        lpad(expr("cast(false_ssn_num / 10000000 as int)"), 2, "0"),
        lit("-"),
        # 提取中间三位
        lpad(expr("cast((false_ssn_num % 10000000) / 10000 as int)"), 3, "0"),
        lit("-"),
        # 提取后四位
        lpad(expr("cast(false_ssn_num % 10000 as int)"), 4, "0")
    )
)

# 可选验证：
# 检查是否存在false_ssn等于ssn的行（应返回0）
print(df_ssn.filter(col("ssn") == col("false_ssn")).count())
# 检查false_ssn列是否无重复（应返回1000000000）
print(df_ssn.select("false_ssn").distinct().count())

方案优势 #

• 性能拉满：全程使用Spark原生SQL函数，避免Python UDF的序列化开销；交叉连接和整数运算均为分布式并行处理，10亿级数据可高效完成。
• 零碰撞风险：循环置换是严格的一一映射，完全保证false_ssn全局唯一且不等于原ssn，无需额外冲突处理。
• 灵活可调：若需调整置换规则，仅需修改mod(ssn_num + N, 1000000000)中的偏移量N（1 ≤ N < 1000000000），仍能满足所有约束。

内容的提问来源于stack exchange，提问作者bmcristi