Pandas千万级行DataFrame按时间戳精确合并的最优实现方案

需要对两份现场采集的字段数据按完全匹配的时间戳做合并，目标是兼顾准确率与执行效率，两份数据基本信息如下：

• file1：约1907万行、11列
• file2：约199万行、44列
  因数据敏感性无法公开原始数据集，已完成两种合并方案的测试，测试过程与结果如下：

file1.shape
Out[13]: (19069591, 11) # 19.1 million rows

file2.shape
Out[14]: (1987321, 44) # 1.9 million rows

已测试方案表现 #

方案1：pd.merge 内连接 #

按索引做内连接，结果准确但执行速度偏慢：

%timeit df = pd.merge(file1,file2,how='inner',left_index=True,right_index=True)
28.3 s ± 2.19 s per loop (mean ± std. dev. of 7 runs, 1 loop each)

df = pd.merge(file1,file2,how='inner',left_index=True,right_index=True)  
df.shape
Out[17]: (1776798, 55) # 1.7 million rows，结果符合预期

方案2：pd.merge_asof 近似匹配 #

该方法需先对两份数据按索引排序，排序代码总耗时2-3s，未计入后续计时：

file1.sort_index(inplace=True,ascending=True)
file2.sort_index(inplace=True,ascending=True)

%timeit pd.merge_asof(file1,file2,left_index=True,right_index=True,direction='nearest',tolerance=pd.Timedelta('0s'))
8.72 s ± 1.05 s per loop (mean ± std. dev. of 7 runs, 1 loop each)

df = pd.merge_asof(file1,file2,left_index=True,right_index=True,direction='nearest',tolerance=pd.Timedelta('0s'))
df.shape
(19069591, 55) # 19 million rows，结果错误

该方案速度比pd.merge快4倍，但结果不符合要求：保留了file1的全部1907万行，没有实现仅保留精确匹配行的内连接逻辑。后续添加allow_exact_matches=True参数测试，结果依然错误：

%timeit df = pd.merge_asof(file1,file2,left_index=True,right_index=True,allow_exact_matches=True,direction='nearest')
10.7 s ± 758 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

df.shape
Out[26]: (19069591, 55)

问题解答 #

问题1：pd.merge_asof能否调整参数实现精确匹配内连接？ #

不能。pd.merge_asof的设计逻辑本身就是左连接变体，无论怎么调参数，默认都会保留左表的全部行，对没有匹配到的行填充空值，本质是做最近邻匹配而非精确等值匹配。就算设置tolerance=0也只会让不匹配的行对应右表字段为空，不会过滤掉左表的行，不可能得到和内连接一致的结果，完全不适合这个精确匹配场景。

问题2：千万级行按索引精确合并的更快实现方案 #

按优先级从高到低推荐以下方案，均比原生pd.merge速度快3-10倍：

• 方案A：使用pandas内置的index join
  先确保两个DataFrame的索引都是排序过的时间戳类型，直接用df = file1.join(file2, how='inner')即可。索引对齐是pandas join的原生优化路径，比通用merge逻辑少了很多类型判断、哈希计算的开销，在已排序的时间索引场景下，耗时通常能降到原生pd.merge的1/3左右。

  # 先确保索引类型正确、已排序
  file1.index = pd.to_datetime(file1.index)
  file2.index = pd.to_datetime(file2.index)
  file1.sort_index(inplace=True)
  file2.sort_index(inplace=True)
  # 直接做索引内连接
  df = file1.join(file2, how='inner')
  

• 方案B：使用Polars替代pandas做合并
  Polars是Rust编写的列式计算引擎，对多线程、内存布局的优化远好于pandas，做等值连接的速度通常是pandas的5-10倍，内存占用也低30%以上，API和pandas接近，迁移成本极低：

  import polars as pl
  # 把pandas DataFrame转成polars DataFrame，设置时间戳为join key
  file1_pl = pl.from_pandas(file1.reset_index())
  file2_pl = pl.from_pandas(file2.reset_index())
  # 做内连接
  df_pl = file1_pl.join(file2_pl, on='index', how='inner')
  # 需要的话可以转回pandas
  df = df_pl.to_pandas()
  

• 方案C：使用Dask处理超大规模数据
  如果单节点内存装不下两份数据，可以用Dask做并行分块合并，逻辑和pandas一致，支持分布式计算，适合亿级以上规模的数据集。

注意：不要用merge_asof硬改做精确匹配，就算匹配后再drop空行，速度也不会比原生join快，还容易引入匹配错误。

内容的提问来源于stack exchange，提问作者Mainland