如何对Pandas面板数据按ID分组处理首行并新增调整行？

问题背景 #

现有一个包含85k行的Pandas DataFrame，结构如下：

import pandas as pd

df1 = pd.DataFrame({
    "ID": [1, 1, 2, 3, 3, 3],          
    "BEGDT": [pd.to_datetime("1986-01-01"), pd.to_datetime("1989-01-01"),
              pd.to_datetime("1988-01-01"),
              pd.to_datetime("1983-01-01"), pd.to_datetime("1986-01-01"), pd.to_datetime("1987-01-01")],
    "ENDDT": [pd.to_datetime("1988-12-31"), pd.to_datetime("1989-12-31"),
              pd.to_datetime("1990-12-31"),
              pd.to_datetime("1985-12-31"), pd.to_datetime("1986-12-31"), pd.to_datetime("1990-12-31")],
    "Inception": [pd.to_datetime("1984-12-04"), pd.to_datetime("1984-12-04"),
                  pd.to_datetime("1987-06-07"),
                  pd.to_datetime("1982-05-08"), pd.to_datetime("1982-05-08"), pd.to_datetime("1982-05-08")],   
    "NAME": ["Juan", "Jerome", "Pedro", "Javier", "Pastor", "Daniel"]
})

需求：对每个ID组中首条满足BEGDT > Inception的观测，复制该行并调整字段值：

• 新行的BEGDT替换为原行的Inception值
• 新行的ENDDT替换为原行BEGDT减1天
• 最终将新行插入到原行之前，得到目标结构（示例见问题描述中的df2）

高效解决方案 #

针对85k行的大数据量，采用向量化操作+分组筛选的方式，避免逐行循环以保证处理效率：

步骤1：标记并筛选需要处理的首行 #

为每个ID组标记首行，同时筛选出满足条件的目标行：

# 标记每个ID组的首行
df1['is_first'] = df1.groupby('ID').cumcount() == 0

# 筛选出需要处理的行：首行且满足BEGDT > Inception
to_process = df1[(df1['is_first']) & (df1['BEGDT'] > df1['Inception'])].copy()

步骤2：调整新行的字段值 #

复制筛选出的行并修改指定字段：

# 先保存原行的BEGDT值，避免修改后丢失
to_process['original_BEGDT'] = to_process['BEGDT']

# 调整BEGDT和ENDDT
to_process['BEGDT'] = to_process['Inception']
to_process['ENDDT'] = to_process['original_BEGDT'] - pd.Timedelta(days=1)

# 清理临时字段和标记
to_process.drop(['original_BEGDT', 'is_first'], axis=1, inplace=True)

步骤3：合并数据并排序 #

将调整后的新行与原DataFrame合并，再按ID和BEGDT排序，确保新行处于原行之前：

# 合并原数据与新行
combined = pd.concat([df1, to_process], ignore_index=True)

# 按ID和BEGDT排序，保证顺序符合要求
combined.sort_values(by=['ID', 'BEGDT'], inplace=True)

# 重置索引并清理临时标记字段
combined.reset_index(drop=True, inplace=True)
combined.drop('is_first', axis=1, inplace=True)

验证结果 #

执行上述代码后，combined即为目标结构的DataFrame，可通过打印查看：

print(combined)

方案优势 #

• 全程使用Pandas原生向量化操作，处理85k行数据效率极高
• 逻辑清晰，每一步可追溯，便于调试和维护

内容的提问来源于stack exchange，提问作者MF1992