使用pandas merge_asof()避免重复匹配的解决方案咨询

我之前也碰到过一模一样的情况——当左表（df1）有同一时间戳的多行记录时，merge_asof的direction='nearest'会把它们都匹配到右表（df2）中最近的那一行，导致重复匹配。这是因为merge_asof默认不会限制右表的行只能被匹配一次，它只会为每个左行找到符合条件的最近右行，不管右行是否已经被用过。

针对你的场景，这里有个精准的解决方案，核心是给同一时间戳内的行添加组内序号，确保左表的第n行对应右表同时间范围内的第n行，避免重复匹配：

步骤1：给两个DataFrame添加组内序号 #

首先，我们需要给df1中同一Dates下的行按顺序编号，同时给df2中对应秒级时间范围内的行也按顺序编号：

import pandas as pd

# 处理df1：按Dates分组，生成组内序号seq
df1['seq'] = df1.groupby('Dates').cumcount()

# 处理df2：先把Time向下取整到秒（和df1的Dates精度一致），再分组生成组内序号seq
df2['time_floor'] = df2['Time'].dt.floor('S')
df2['seq'] = df2.groupby('time_floor').cumcount()

步骤2：按时间+序号精确合并 #

现在我们可以通过merge来精确匹配：同一秒级时间下，序号相同的行一一对应，这样就不会出现重复匹配的问题了：

merged_data = pd.merge(
    df1,
    df2,
    left_on=['Dates', 'seq'],
    right_on=['time_floor', 'seq'],
    how='left'  # 根据需求选择how，比如inner只保留匹配上的行
)

# 可以删除临时的辅助列
merged_data = merged_data.drop(columns=['time_floor', 'seq'])

为什么这个方法有效？ #

你的df1和df2中，同一时间范围内的行是按顺序对应的（比如df1中2019-08-16 00:00:57的两行，正好对应df2中同一秒内的两行）。通过添加组内序号，我们给每一行加上了“唯一标识”，确保同一时间下的第1行匹配第1行，第2行匹配第2行，彻底避免了重复匹配同一行的问题。

额外说明 #

如果df1和df2的组内行数不一致（比如df1某时间有3行，df2对应时间只有2行），how='left'会保留df1的所有行，匹配不到的列会显示NaN；如果用how='inner'则只保留两边都有对应序号的行，可以根据你的业务需求调整。

内容的提问来源于stack exchange，提问作者Évariste Galois