如何用Pandas新增previous_flag列？多条件匹配关联历史flag值

核心思路 #

通过构建匹配映射关系，将每个(part_number, datetime1, datetime2)对应的flag值存储起来，再用当前行的(part_number, previousdatetime1, previousdatetime2)去匹配这个映射，提取对应的flag作为previous_flag。以下提供两种高效实现方式：

方法1：使用merge（直观易理解） #

这种方式通过创建临时匹配表，再和原表左连接实现匹配，逻辑清晰，适合大多数场景。

import pandas as pd

# 确保日期列是datetime类型（若原始数据为字符串格式）
date_cols = ['datetime1', 'previousdatetime1', 'datetime2', 'previousdatetime2']
df[date_cols] = df[date_cols].apply(pd.to_datetime)

# 创建临时匹配表，重命名列以便后续匹配
match_table = df[['part_number', 'datetime1', 'datetime2', 'flag']].rename(
    columns={
        'datetime1': 'previousdatetime1',
        'datetime2': 'previousdatetime2',
        'flag': 'previous_flag'
    }
)

# 左连接合并，按指定条件匹配
df = df.merge(
    match_table,
    on=['part_number', 'previousdatetime1', 'previousdatetime2'],
    how='left'
)

注意事项：

• 如果存在多行满足同一匹配条件，merge会生成重复行，可通过df.drop_duplicates(subset=原表主键列, keep='first')保留唯一匹配结果
• 日期列类型必须完全一致，否则会出现匹配失败

方法2：使用set_index+map（大数据量更高效） #

这种方式通过构建索引映射，直接按匹配键提取值，避免了合并操作，在数据量较大时性能更优。

import pandas as pd

# 转换日期列类型
date_cols = ['datetime1', 'previousdatetime1', 'datetime2', 'previousdatetime2']
df[date_cols] = df[date_cols].apply(pd.to_datetime)

# 构建以(part_number, datetime1, datetime2)为复合索引的flag映射
flag_map = df.set_index(['part_number', 'datetime1', 'datetime2'])['flag']

# 按当前行的匹配键提取对应的flag值
df['previous_flag'] = df.apply(
    lambda row: flag_map.get((row['part_number'], row['previousdatetime1'], row['previousdatetime2']), pd.NA),
    axis=1
)

注意事项：

• 如果存在重复的(part_number, datetime1, datetime2)组合，set_index会保留最后一行的flag值
• 若需保留第一个匹配值，可先对原表按匹配键去重：df = df.drop_duplicates(subset=['part_number', 'datetime1', 'datetime2'], keep='first')

内容的提问来源于stack exchange，提问作者Silver