如何基于另一DataFrame的时间戳条件高效填充pandas数据

核心需求：基于Id+source关联两个DataFrame，仅将df2中timestamp小于对应df1行timestamp的value填充到df1，全程用矢量化操作替代循环，适配大数据量场景。

方案1：合并过滤+聚合填充 #

这是通用型的矢量化方案，无需依赖时间有序性：

• 关联合并：用merge按Id、source做左连接，保留df1所有行并匹配df2对应记录
• 条件筛选：直接过滤出df2.timestamp < df1.timestamp的有效匹配行
• 处理重复匹配：若一个df1行对应多个符合条件的df2记录，通过groupby聚合（比如取最新时间的value、最大value等，按需调整）
• 回填结果：将聚合后的匹配值合并回原df1

示例代码：

# 左连接并区分同名列
merged = df1.merge(df2, on=['Id', 'source'], how='left', suffixes=('_df1', '_df2'))

# 筛选时间符合条件的行
filtered = merged[merged['timestamp_df2'] < merged['timestamp_df1']]

# 按df1的唯一行聚合，这里取每组中最新时间的value
aggregated = filtered.groupby(['Id', 'source', 'timestamp_df1'])['value'].last().reset_index()

# 合并回原df1，完成填充
df1 = df1.merge(aggregated, left_on=['Id', 'source', 'timestamp'], right_on=['Id', 'source', 'timestamp_df1'], how='left').drop('timestamp_df1', axis=1)

方案2：merge_asof时间序列匹配（性能最优） #

如果timestamp字段是有序的，merge_asof是专为时间序列匹配设计的高效工具，内存占用和时间复杂度远低于普通merge：

• 预排序：先对df1和df2按Id+source+timestamp排序（merge_asof强制要求）
• 时间匹配：指定by=['Id', 'source']做分组匹配，direction='backward'自动匹配小于左表时间的最近一条右表记录
• 直接输出结果：结果中自动包含符合条件的value，无匹配则留空

示例代码：

# 按关联键+时间排序
df1_sorted = df1.sort_values(['Id', 'source', 'timestamp'])
df2_sorted = df2.sort_values(['Id', 'source', 'timestamp'])

# 执行时间匹配
result = pd.merge_asof(
    df1_sorted,
    df2_sorted,
    by=['Id', 'source'],
    left_on='timestamp',
    right_on='timestamp',
    direction='backward'
)

# result即为填充后的df1，保留原结构

注意事项 #

• 若df2存在Id+source+timestamp重复记录，建议先通过drop_duplicates去重，避免匹配逻辑混乱
• 普通merge适合关联键组合复杂、时间无序的场景；merge_asof是大数据量时间匹配的首选，性能优势明显

内容的提问来源于stack exchange，提问作者Ussu20