如何在Pandas中基于公共值与时间差筛选左DataFrame行

明确需求：从df1中筛选出同时满足以下条件的行：

• cid值存在于df2中
• df2中对应cid的至少一条记录的modified_at与指定UTC时间（2023-07-04 23:36:38）的时间差大于15分钟

实现代码 #

import datetime
import pandas as pd

# 修正原始数据的语法错误（原数据元组多了右括号）
saved_info = [
    (datetime.datetime(2023, 7, 4, 23, 18, 22, 113476), 't55643', 'ab$ff$55'),
    (datetime.datetime(2023, 7, 4, 23, 26, 22, 113476), 't55643', '5b$ff$15'),
    (datetime.datetime(2023, 7, 4, 23, 27, 22, 133470), 't55643', 'ab$ff$55')
]

new_info = [
    ('t55643', 'ab$ff$55', 44),
    ('t55643', 'be$qf$34', 33)
]

# 构建DataFrame
df1 = pd.DataFrame(new_info, columns=["tid", "cid", "val"])
df2 = pd.DataFrame(saved_info, columns=["modified_at", "tid", "cid"])

# 指定当前UTC时间
current_time = datetime.datetime(2023, 7, 4, 23, 36, 38)

# 计算时间差并筛选符合条件的cid
df2['time_diff'] = current_time - df2['modified_at']
# 提取满足时间差>15分钟的唯一cid
valid_cids = df2[df2['time_diff'] > datetime.timedelta(minutes=15)]['cid'].unique()

# 筛选df1中的目标行
df1_final = df1[df1['cid'].isin(valid_cids)]

print(df1_final)

输出结果 #

tid       cid  val
0  t55643  ab$ff$55   44

关键说明 #

1. 先修正了原始数据的语法错误（原每个元组末尾多了一个右括号）
2. 通过计算modified_at与当前时间的差值，筛选出时间差超过15分钟的记录，提取对应的唯一cid列表
3. 直接用isin匹配df1中的cid，高效得到符合要求的结果

内容的提问来源于stack exchange，提问作者Souvik Ray