如何在以日期为索引移位DataFrame列后保存数据

数据集 #

原DataFrame结构（日期为索引）：

Date    X     Y     Z
2000-01-01    x1    y1    z1
2000-01-02    x2    y1    z1
2000-01-03    x3    y1    z1
            ...
2000-01-31    x31   y1    z1
2000-02-01    x32   y2    z2
2000-02-02    x33   y2    z2
            ...
2000-02-29    x60   y2    z2
2000-03-01    x61   y3    z3

需求 #

将月度/季度变化的列（Y、Z）按月度滞后移位，移位后的值需填充对应整月的所有行，最终结果如下：

Date    X     Y     Z
2000-01-01    x1    NaN   NaN
2000-01-02    x2    NaN   NaN
2000-01-03    x3    NaN   NaN
            ...
2000-01-31    x31   NaN   NaN
2000-02-01    x32   y1    NaN
2000-02-02    x33   y1    NaN
            ...
2000-02-29    x60   y1    NaN
2000-03-01    x61   y2    z1

尝试过程与错误分析 #

1. 直接调用shift未赋值 #

# max_lag是存储各特征列滞后值的字典
for key in max_lag.keys():
    df[key].shift(periods=max_lag[key], freq='ME')

问题原因：Pandas的shift()方法默认返回新的Series对象，不会修改原DataFrame，因此原df无变化。

2. 赋值更新原df报错 #

for key in max_lag.keys():
    df[key] = df[key].shift(periods=max_lag[key], freq='ME')

报错信息：

ValueError: cannot reindex on an axis with duplicate labels

问题原因：使用freq='ME'移位后，Series的索引变为月末日期（如2000-01-31），但原df的索引是每日重复的日期，移位后的索引与原df索引无法对齐，导致赋值失败。

3. 创建新df存储移位值报错 #

for key in max_lag.keys():
    df_shift[key] = df[key].shift(periods=max_lag[key], freq='ME')

报错信息：

TypeError: 'type' object does not support item assignment

问题原因：df_shift未初始化，默认是Python的type对象，而非空DataFrame或字典，无法直接赋值。

可行解决方法 #

核心思路：先提取月度级别的唯一值，移位后再映射回每日索引填充整月数据，避免索引对齐问题。

步骤1：确保日期索引为datetime类型 #

import pandas as pd

# 转换索引为datetime（若未转换）
df.index = pd.to_datetime(df.index)

步骤2：定义滞后字典并处理每列 #

假设max_lag = {'Y': 1, 'Z': 2}（Y滞后1个月，Z滞后2个月）：

# 复制原df作为结果容器
df_result = df.copy()

for col, lag in max_lag.items():
    # 提取每月的唯一值（因整月值相同，取第一个即可）
    monthly_series = df.groupby(df.index.to_period('M'))[col].first()
    # 对月度数据执行滞后移位（freq='M'表示月度移位）
    shifted_monthly = monthly_series.shift(periods=lag, freq='M')
    # 将移位后的月度值映射回原每日索引，填充整月
    df_result[col] = df.index.to_period('M').map(shifted_monthly)

结果说明 #

• 1月的Y值y1移位1个月后，会填充到2月的所有日期行
• 1月的Z值z1移位2个月后，会填充到3月的所有日期行
• 1月因无滞后数据，Y、Z列均为NaN，符合需求

内容的提问来源于stack exchange，提问作者Mihuu