使用pandas merge_asof合并时缺失行：按最近时间戳匹配异常

问题描述 #

你需要基于最近时间戳合并两个DataFrame，原始数据结构如下：

Time stamp  Value1  Time Stamp 2    Value 2
13:30   A   13:32   40
13:30   B       
13:30   C       
13:30   D       
13:30   E       
13:30   F       

其中Value1包含(A,B,C,D,E,F)，Value2为40对应时间戳13:32，期望合并后所有Value1行都匹配到40，得到如下结果：

13:30   A   40
13:30   B   40
13:30   C   40
13:30   D   40
13:30   E   40
13:30   F   40

但使用merge_asof方法后仅返回一行结果：

13:30   F   40

所用代码：

df = pd.merge_asof(df_downtime,df_centerline,on='Time',direction='nearest',by='Desc Variable',allow_exact_matches=False)

问题原因 #

merge_asof的工作逻辑是按顺序逐行匹配，仅为每个主DataFrame行找到符合条件的单个匹配项，而非将匹配结果广播到所有行。另外：

• allow_exact_matches=False会排除时间完全匹配的情况（若存在）
• 若df_centerline仅有一行数据，merge_asof只会找到主DataFrame中时间最接近的那一行进行匹配，其余行因无对应匹配项导致Value2为空，或因数据排序规则被过滤

解决方法 #

方法1：直接提取最近值并广播（适用于单值匹配场景） #

如果df_centerline中对应最近时间的Value2只有一个值（比如本例的40），可以先通过merge_asof定位到该值，再直接赋值给主DataFrame的所有行：

# merge_asof要求DataFrame按时间排序
df_downtime = df_downtime.sort_values('Time')
df_centerline = df_centerline.sort_values('Time')

# 获取最近时间对应的Value2值
temp_merge = pd.merge_asof(df_downtime, df_centerline, on='Time', direction='nearest', by='Desc Variable')
closest_value = temp_merge['Value 2'].dropna().iloc[0]

# 将值赋值给所有行
df_downtime['Value 2'] = closest_value

方法2：merge_asof结合填充（适用于多分组场景） #

如果存在多个分组（对应by参数的Desc Variable），先执行merge_asof匹配，再对缺失的Value2值进行分组填充：

# 按分组+时间排序
df_downtime = df_downtime.sort_values(['Desc Variable', 'Time'])
df_centerline = df_centerline.sort_values(['Desc Variable', 'Time'])

# 执行merge_asof，去掉allow_exact_matches=False（除非明确需要排除精确匹配）
merged_df = pd.merge_asof(
    df_downtime, 
    df_centerline, 
    on='Time', 
    direction='nearest', 
    by='Desc Variable'
)

# 按分组填充缺失值，向前+向后填充确保所有行都有值
merged_df['Value 2'] = merged_df.groupby('Desc Variable')['Value 2'].transform(lambda x: x.ffill().bfill())

方法3：笛卡尔积+时间差筛选（适用于严格最近匹配场景） #

如果需要确保每个Value1行都匹配到绝对最近时间戳的Value2，可以通过笛卡尔积计算时间差后筛选：

# 将时间列转为datetime类型以便计算差值
df_downtime['Time'] = pd.to_datetime(df_downtime['Time'])
df_centerline['Time'] = pd.to_datetime(df_centerline['Time'])

# 笛卡尔积合并两个DataFrame
cross_df = pd.merge(df_downtime, df_centerline, how='cross', suffixes=('_left', '_right'))

# 计算时间差的绝对值
cross_df['time_diff'] = abs(cross_df['Time_left'] - cross_df['Time_right'])

# 按Value1分组，筛选每组中时间差最小的行
merged_df = cross_df.loc[cross_df.groupby('Value1')['time_diff'].idxmin()]

# 保留需要的列并整理格式
merged_df = merged_df[['Time_left', 'Value1', 'Value 2']].rename(columns={'Time_left': 'Time stamp'})

内容的提问来源于stack exchange，提问作者ala mazahreh