Pandas中使用shift(freq)替换原列时触发ValueError: cannot reindex from a duplicate axis问题求助

首先得澄清两个错误的根源，其实都不是NaN的锅，咱们一步步来拆解：

第一个错误：ValueError: cannot reindex from a duplicate axis #

这个错误的核心是你原始DataFrame的索引存在重复日期。你单独执行shift(freq=...)能得到结果，是因为它只是生成一个新的Series，不会涉及原索引的对齐；但当你赋值回原列时，Pandas需要把新Series的索引和原df的索引对齐，而如果原索引有重复，这个对齐过程就会崩溃——毕竟Pandas不知道该把新值分配给哪个重复的旧索引。

你测试的无NaN代码能正常运行，是因为pd.date_range生成的是完全唯一的日期索引，没有重复问题。

解决办法：先处理重复索引 #

先检查是不是真的有重复索引：

print("是否存在重复索引：", df.index.duplicated().any())

如果输出是True，就先对重复索引做聚合处理（比如取第一个值、均值或者求和，根据你的业务需求选择）：

# 这里用first()取每个重复日期的第一个值，你可以换成mean()/sum()等
df = df.groupby(df.index).first()

处理完重复索引后，再执行赋值就没问题了：

df['value'] = df['value'].shift(freq=pd.DateOffset(years=1))

第二个错误：pandas.errors.NullFrequencyError: Cannot shift with no freq #

这个是因为你的索引没有设置频率属性（freq）。relativedelta依赖明确的频率（比如每日、每月）来计算偏移，但手动输入的日期或者非规则间隔的索引通常没有这个属性，所以Pandas不知道怎么计算偏移量。

解决办法：给索引设置频率 #

先把索引转换成带频率的DatetimeIndex：

# 假设你的数据是按日更新的，设置freq='D'，如果是月度就用'M'，依此类推
df.index = pd.DatetimeIndex(df.index, freq='D')

之后再用relativedelta就可以了：

from dateutil.relativedelta import relativedelta
df['value'] = df['value'].shift(freq=relativedelta(years=+1))

更高效的替代方案：直接修改索引 #

看你单独执行shift后的结果，你其实是想把整个数据的索引往后偏移一年，值保持不变？那完全没必要操作列，直接修改索引更简单：

df.index = df.index + pd.DateOffset(years=1)

这个操作和你单独执行shift的效果完全一致，而且避开了所有赋值对齐的问题（当然前提是先处理好重复索引）。

内容的提问来源于stack exchange，提问作者ah bon