pandas中正确使用merge_asof实现回溯时间戳匹配与向前填充合并的方法

核心误区说明 #

• merge_asof()是左表驱动的特殊合并函数，天生只会保留左表的所有行，不会把右表的独立时间戳纳入结果集，单靠一次这个函数永远实现不了“最终行数等于两个输入表行数之和”的要求
• 之前设置的direction="forward"方向完全反向：这个参数对应“找右表中时间晚于左表当前时间的最近匹配值”，和你要的“匹配早于当前时间的最近记录”逻辑完全相悖

实现流程 #

1. 前置要求：merge_asof()强制要求参与合并的所有表必须先按合并键ts做升序排序，否则会直接触发合并错误、结果错乱，这是函数的硬性规则。
2. 全时间戳归集：先用pd.concat()纵向拼接两个表的所有行，把coords的10条记录、info的3条记录全部保留，拼完后按ts排序，此时总行数刚好为13，匹配行数要求。
3. 两轮补值匹配：以归集好的全量时间戳表为左表，分别对coords、info两个原始表做反向asof匹配，补全缺失字段：
   • 关联coords的经纬度：取右表（coords）中时间早于等于左表当前时间的最近行的lat/lng，满足“info记录匹配早于它的最近GPS位置”的规则
   • 关联info的属性值：取右表（info）中时间早于等于左表当前时间的最近行的nav_to/battery，满足“属性值向前填充”的规则

完整可运行代码 #

import pandas as pd

# 1. 按ts升序排序原始表（merge_asof强制要求）
coords_sorted = coords.sort_values("ts")
info_sorted = info.sort_values("ts")

# 2. 纵向拼接所有行，保留全部独立时间戳
combined = pd.concat([coords_sorted, info_sorted], axis=0).sort_values("ts").reset_index(drop=True)

# 3. 补全lat/lng字段
combined = pd.merge_asof(
    combined,
    coords_sorted[["ts", "lat", "lng"]],
    on="ts",
    direction="backward"
)

# 4. 补全nav_to/battery字段
combined = pd.merge_asof(
    combined,
    info_sorted[["ts", "nav_to", "battery"]],
    on="ts",
    direction="backward"
)

# 5. 合并同名字段的有效值，清理临时列
combined["lat"] = combined["lat_y"].fillna(combined["lat_x"])
combined["lng"] = combined["lng_y"].fillna(combined["lng_x"])
combined["nav_to"] = combined["nav_to_y"].fillna(combined["nav_to_x"])
combined["battery"] = combined["battery_y"].fillna(combined["battery_x"])

# 输出最终结果
final_df = combined[["ts", "lat", "lng", "nav_to", "battery"]]

结果校验 #

运行得到的final_df完全匹配预期输出：所有时间戳按先后顺序排列，info的独立时间戳会携带匹配到的最近一次GPS经纬度，coords的独立时间戳会携带前序最近的导航/电量值，最早一段没有任何属性记录的行，nav_to为None、battery为NaN。

内容的提问来源于stack exchange，提问作者iskandarblue