Pandas基于CID条件合并两个大体积DataFrame的最优方案咨询

首先明确合并逻辑：你需要的是以df1为左表、CID为匹配键的左连接，合并后保留两个表的指定字段即可，以下是不同硬件条件下的最高效方案：

场景1：设备空闲内存≥8GB（总文件大小的1.5倍以上） #

直接用Pandas内存合并即可，是速度最快的方案，步骤如下：

• 读数据时提前做内存优化，只读取需要的字段、预先指定字段类型，避免无效内存占用：

import pandas as pd
# 读入df1，指定字段和CID的类型，示例为数字CID，若为字符串可转category
df1 = pd.read_csv(
    "df1文件路径",
    usecols=["CID", "Name", "Voucher", "Issued"],
    dtype={"CID": "int32"}
)
# 读入df2，同样做裁剪
df2 = pd.read_csv(
    "df2文件路径",
    usecols=["CID", "sec", "Address", "City", "ZipCode", "PhoneNumber", "Country"],
    dtype={"CID": "int32"}
)

• 合并前将两个表的CID设为索引，可提升匹配速度30%以上，再执行左连接：

df1 = df1.set_index("CID")
df2 = df2.set_index("CID")
merged_df = df1.join(df2, how="left").reset_index()
# 导出结果
merged_df.to_csv("合并结果路径", index=False)

场景2：设备空闲内存为4~7GB，无法同时装入全量数据 #

用Dask分块计算方案，不需要加载全量数据到内存，API和Pandas几乎完全兼容，性能损失很小：

import dask.dataframe as dd
# 分块读入两个表
ddf1 = dd.read_csv(
    "df1文件路径",
    usecols=["CID", "Name", "Voucher", "Issued"]
)
ddf2 = dd.read_csv(
    "df2文件路径",
    usecols=["CID", "sec", "Address", "City", "ZipCode", "PhoneNumber", "Country"]
)
# 执行左连接
merged_ddf = dd.merge(ddf1, ddf2, on="CID", how="left")
# 直接导出结果到单个文件
merged_ddf.to_csv("合并结果路径", single_file=True, index=False)

场景3：设备空闲内存<4GB，极端小内存场景 #

用本地SQLite做离线磁盘合并，完全不依赖内存大小，运行稳定：

1. 将两个表逐块导入SQLite临时库的两张表
2. 执行左连接SQL查询：SELECT t1.*, t2.sec, t2.Address, t2.City, t2.ZipCode, t2.PhoneNumber, t2.Country FROM df1 t1 LEFT JOIN df2 t2 ON t1.CID = t2.CID
3. 将查询结果逐行导出到结果文件即可

额外优化技巧 #

• 如果df2中存在重复CID，提前对df2做CID去重，可减少匹配计算量
• 合并前对两个表的CID做排序，有序匹配的速度远高于无序匹配

内容的提问来源于stack exchange，提问作者αԋɱҽԃ αмєяιcαη