基于多列匹配合并不同大小DataFrame及解决性能问题

核心问题排查 #

• 空表/左表结果：几乎都是匹配列的数据类型/精度不统一导致的，比如Date列一个是字符串一个是datetime，经纬度存在浮点精度差异（如一个保留6位、一个保留4位）。
• 内存错误/笛卡尔积：当匹配列存在大量重复值时，内连接会生成大量无效组合，直接撑爆内存。

分步解决方法 #

1. 统一匹配列的格式与精度 #

先把三列的格式完全对齐，消除匹配障碍：

import pandas as pd

# 统一日期格式为datetime
df1['Date'] = pd.to_datetime(df1['Date'])
df2['Date'] = pd.to_datetime(df2['Date'])

# 统一经纬度精度（比如保留4位小数，避免浮点误差）
df1[['Latitude', 'Longitude']] = df1[['Latitude', 'Longitude']].round(4)
df2[['Latitude', 'Longitude']] = df2[['Latitude', 'Longitude']].round(4)

2. 避免笛卡尔积的高效内连接 #

先对两个表按匹配列去重，再执行内连接，同时用validate参数约束匹配关系：

# 去重：移除匹配列重复的行，减少计算量
df1_unique = df1.drop_duplicates(subset=['Date', 'Latitude', 'Longitude'])
df2_unique = df2.drop_duplicates(subset=['Date', 'Latitude', 'Longitude'])

# 内连接，指定匹配列，validate参数防止意外的笛卡尔积
merged_df = pd.merge(
    df1_unique,
    df2_unique,
    on=['Date', 'Latitude', 'Longitude'],
    how='inner',
    validate='m:m'  # 根据实际数据选1:1、1:m或m:m，m:m兼容多对多场景
)

3. 内存优化方案 #

如果仍出现内存错误，通过指定数据类型或分块处理来缓解：

# 提前指定更紧凑的数据类型，减少内存占用
df1 = df1.astype({
    'Date': 'datetime64[ns]',
    'Latitude': 'float32',
    'Longitude': 'float32',
    'Car_Accident': 'int8'  # 若为布尔/二值字段，用int8更省空间
})
df2 = df2.astype({
    'Date': 'datetime64[ns]',
    'Latitude': 'float32',
    'Longitude': 'float32',
    'Route': 'category'  # 若Route是有限枚举值，用category类型
})

# 分块合并（适合超大数据量，若数据来自文件可直接按块读取）
merged_chunks = []
# 示例：若df2是从csv读取，按1万行分块
for chunk in pd.read_csv('df2_data.csv', chunksize=10000):
    chunk['Date'] = pd.to_datetime(chunk['Date'])
    chunk[['Latitude', 'Longitude']] = chunk[['Latitude', 'Longitude']].round(4)
    matched_chunk = pd.merge(df1, chunk, on=['Date', 'Latitude', 'Longitude'], how='inner')
    merged_chunks.append(matched_chunk)
merged_df = pd.concat(merged_chunks, ignore_index=True)

4. 验证结果 #

合并后检查是否符合预期：

# 查看匹配行数
print(f"匹配成功，共{len(merged_df)}条数据")
# 随机抽样查看结果
print(merged_df.sample(5))

内容的提问来源于stack exchange，提问作者AlienwareR