如何在Python中对多表数据匿名化并保留关联关系？

要实现不同表中关联列的匿名化结果一致，核心思路是先为所有关联列的唯一值建立全局映射关系，再用这个映射去替换所有表中的对应列。具体步骤如下：

1. 加载数据并构建全局映射字典 #

先用pandas加载两个CSV文件，然后收集所有关联列（比如表1的colA和表2的colC）的唯一值，为每个原值生成唯一的匿名值，存储在字典中。

示例代码：

import pandas as pd
import uuid

# 加载CSV数据
df1 = pd.read_csv('table1.csv')
df2 = pd.read_csv('table2.csv')

# 收集所有关联列的唯一值
all_unique_values = pd.concat([df1['colA'], df2['colC']]).unique()

# 构建映射字典：原值 -> 匿名值（这里用短uuid生成唯一字符串，也可以用哈希、随机数等）
value_mapping = {val: str(uuid.uuid4()).split('-')[0] for val in all_unique_values}
# 如果需要数字型匿名值，可改用递增整数：
# value_mapping = {val: idx + 100000 for idx, val in enumerate(all_unique_values)}

2. 用映射字典替换关联列 #

直接用map()方法将两个表的关联列替换为对应的匿名值：

# 替换表1的colA
df1['colA'] = df1['colA'].map(value_mapping)
# 替换表2的colC
df2['colC'] = df2['colC'].map(value_mapping)

3. 处理非关联列的匿名化 #

对于不需要关联的列（比如colB、colD），可以单独用随机字符串、哈希等方式匿名化：

import random
import string

def generate_random_str(length=6):
    return ''.join(random.choices(string.ascii_lowercase + string.digits, k=length))

df1['colB'] = df1['colB'].apply(lambda x: generate_random_str())
df2['colD'] = df2['colD'].apply(lambda x: generate_random_str())

4. 导出匿名化后的文件 #

最后将处理后的DataFrame导出为新的CSV：

df1.to_csv('anonymized_table1.csv', index=False)
df2.to_csv('anonymized_table2.csv', index=False)

关键说明 #

• 全局映射字典确保相同的原值在不同表中会被替换为同一个匿名值，完美保留关联关系。
• 匿名化方式可按需调整：需要不可逆匿名化时，推荐用hashlib.sha256生成哈希值；需要可读性强的匿名值时，用递增数字或短uuid即可。

内容的提问来源于stack exchange，提问作者Ferhat