多CSV合并导入MySQL方案选择：Python合并vs数据库JOIN及主键设置

优先选择分表导入+JOIN查询 #

• 符合数据库设计范式，避免姓名/年龄/性别等共同字段的冗余存储，减少数据不一致风险
• 数据更新更高效：比如用户银行卡信息变更时，只需修改银行卡表，不影响车辆、个人信息表
• 扩展性强：后续新增用户相关数据（如社保信息），只需新增表并通过主键关联即可
• MySQL对JOIN查询的优化成熟，只要给主键、关联字段建好索引，数据量中等以下时性能完全够用

单表导入的适用场景 #

仅当你的数据量极小（比如几百条），且所有查询都需要同时获取三类信息，不想写JOIN语句时才考虑。但长期来看，单表会因冗余数据导致维护成本上升，数据更新时容易出现不一致。

核心前提：确定唯一主键 #

绝对不要用姓名当主键（重名概率高），优先用身份证号这类天然唯一的用户标识；如果没有，可通过Python生成全局唯一的user_id（如UUID或自增ID）。

代码实现（基于Pandas） #

步骤1：导入依赖并读取CSV #

import pandas as pd
import uuid

步骤2：生成全局唯一用户ID（无身份证号时） #

先收集所有唯一用户，给每个用户分配唯一ID，再映射回原表：

# 读取三个CSV文件
df_bank = pd.read_csv('bank_info.csv')
df_car = pd.read_csv('car_info.csv')
df_personal = pd.read_csv('personal_info.csv')

# 提取所有唯一用户（基于姓名+年龄+性别，尽量减少匹配误差）
unique_users = pd.concat(
    [df_bank[['姓名', '年龄', '性别']], 
     df_car[['姓名', '年龄', '性别']], 
     df_personal[['姓名', '年龄', '性别']]]
).drop_duplicates().reset_index(drop=True)

# 给每个唯一用户生成UUID作为user_id
unique_users['user_id'] = [uuid.uuid4().hex for _ in range(len(unique_users))]

# 将user_id映射回三个原始表
df_bank = pd.merge(df_bank, unique_users, on=['姓名', '年龄', '性别'], how='left')
df_car = pd.merge(df_car, unique_users, on=['姓名', '年龄', '性别'], how='left')
df_personal = pd.merge(df_personal, unique_users, on=['姓名', '年龄', '性别'], how='left')

步骤3：合并表格并处理重复字段 #

# 合并三张表，基于user_id和共同字段（避免重复存储）
merged_df = pd.merge(
    df_bank, df_car, 
    on=['user_id', '姓名', '年龄', '性别'], 
    how='outer',  # 保留所有用户，即使某些用户只有某类信息
    suffixes=('_bank', '_car')  # 给重复字段名加后缀区分
)

merged_df = pd.merge(
    merged_df, df_personal, 
    on=['user_id', '姓名', '年龄', '性别'], 
    how='outer',
    suffixes=('', '_personal')
)

# 重命名重复字段（比如不同表都有"备注"字段）
merged_df.rename(
    columns={
        '备注_bank': '银行卡备注',
        '备注_car': '车辆备注',
        '备注': '个人备注'
    },
    inplace=True
)

# 保存合并后的CSV
merged_df.to_csv('merged_user_data.csv', index=False)

关键注意事项 #

• 如果存在同姓名同年龄同性别但不同用户的情况，需补充更多区分字段（如手机号），否则会导致ID分配错误
• 合并前要校验共同字段的一致性：比如同一个用户在三张表中的年龄/性别是否一致，不一致的话要先清洗数据（比如取某张表的基准值，或标记异常数据）

内容的提问来源于stack exchange，提问作者Hazael O