基于会话日期间隔规则合并会话并更新起止日期的Pandas实现问题

核心思路 #

通过分组标记识别需要合并的连续会话，用Pandas向量化操作替代循环遍历，避免值更新不及时的问题。

实现步骤 #

1. 日期格式转换：先将日期列转为Pandas datetime类型，便于日期运算

import pandas as pd

# 转换日期列格式
df['StartDate'] = pd.to_datetime(df['StartDate'])
df['EndDate'] = pd.to_datetime(df['EndDate'])

2. 生成分组ID：当前会话与前一会话间隔≥2天时开启新分组，否则与前一会话同组

# 计算当前会话开始与前一会话结束的间隔，≥2天则标记为新分组
df['group_id'] = (df['StartDate'] - df['EndDate'].shift(1)).dt.days.ge(2).cumsum()

3. 分组计算新日期：每个分组取最早的开始日期作为NewStartDate，最晚的结束日期作为NewEndDate

# 分组计算合并后的日期
df['NewStartDate'] = df.groupby('group_id')['StartDate'].transform('min').dt.date
df['NewEndDate'] = df.groupby('group_id')['EndDate'].transform('max').dt.date

# 可选：删除临时分组列
df.drop(columns='group_id', inplace=True)

方案优势 #

• 避免了iterrows遍历的快照问题，不会出现新值无法参与后续运算的情况
• 向量化运算性能远高于循环遍历，适配大数据量场景
• 逻辑清晰，仅需3步即可得到符合要求的结果

内容的提问来源于stack exchange，提问作者adm-gis