Pandas中匹配两个DataFrame同分钟时间戳并同步anomaly字段

问题背景 #

有两个百万行级别的DataFrame：

• df_a：每分钟有多条记录，包含带秒数的created_at时间戳列，以及初始值为0的anomaly字段
• df_b：已按分钟重采样，每分钟仅一条记录，包含整分钟的created_at时间戳列和anomaly字段

需求：不为df_a重采样，将df_b中对应分钟的anomaly值同步到df_a的每一行。此前用iterrows遍历判断的方法，因秒数差异无法匹配到对应记录。

高效解决方案（避免低效遍历） #

方法一：生成分钟级匹配键 #

通过将时间戳截断到分钟级别创建匹配键，完成字段映射，适配所有场景：

1. 确保时间列为datetime类型（若未转换）：

import pandas as pd

df_a['created_at'] = pd.to_datetime(df_a['created_at'])
df_b['created_at'] = pd.to_datetime(df_b['created_at'])

2. 为df_a生成分钟级键：
   用dt.floor('min')将带秒数的时间戳截断到整分钟：

df_a['minute_key'] = df_a['created_at'].dt.floor('min')

3. 快速映射df_b的anomaly值：
   将df_b的created_at设为索引，通过map完成高效字段同步：

# 提取df_b的分钟时间戳与对应anomaly值的映射关系
df_b_anomaly_map = df_b.set_index('created_at')['anomaly']
# 将匹配值同步到df_a
df_a['anomaly'] = df_a['minute_key'].map(df_b_anomaly_map)

若偏好更直观的merge方式：

df_a = df_a.merge(
    df_b,
    left_on='minute_key',
    right_on='created_at',
    suffixes=('_original', '_b')
)
# 整理冗余列与列名
df_a = df_a.drop(columns=['created_at_b', 'minute_key', 'anomaly_original']).rename(columns={'anomaly_b': 'anomaly'})

方法二：用merge_asof按时间匹配 #

如果df_b的时间戳是严格按分钟排序的，可使用merge_asof实现高效的时间近邻匹配：

1. 确保两个DataFrame按时间排序：

df_a = df_a.sort_values('created_at')
df_b = df_b.sort_values('created_at')

2. 执行时间匹配：
   设置tolerance=1分钟，确保仅匹配同一分钟的记录：

df_a = pd.merge_asof(
    df_a,
    df_b,
    on='created_at',
    tolerance=pd.Timedelta(minutes=1),
    direction='backward'  # 匹配不晚于当前时间的最近记录（即对应分钟的整分钟戳）
)

关键说明 #

• 绝对不要用iterrows遍历百万行数据：这类循环操作效率极低，会导致处理时间呈指数级增长。
• 核心思路是对齐时间精度：通过截断秒数或时间近邻匹配，消除df_a与df_b的时间戳精度差异，实现正确匹配。

内容的提问来源于stack exchange，提问作者Reine Baudache