Pandas Series的.diff(period=-n)是否正常生效？遇异常结果求助

复现代码 #

import pandas as pd
import numpy as np

date_rng = pd.date_range(start="2023-11-18", periods=3, freq="10S")
values = [4, 2, 3]
df = pd.DataFrame(data={"values": values}, index=date_rng)
df["dt"] = df.index.to_series().diff().dt.seconds
df["dt"] = df.index.to_series().diff(periods=2).dt.seconds
df["dt_neg"] = df.index.to_series().diff(periods=-1).dt.seconds
print(df)

实际运行结果 #

values    dt   dt_neg
2023-11-18 00:00:00       4   NaN  86390.0
2023-11-18 00:00:10       2   NaN  86390.0
2023-11-18 00:00:20       3  20.0      NaN

问题核心 #

1. 使用diff(periods=-1)时，预期得到负时间差，但实际返回86390.0（等价于1天秒数86400减去10秒），与预期不符。
2. 需确认diff(periods=-10)这类更大的负周期参数是否能正常工作。

原因及解决办法 #

问题根源 #

问题出在.dt.seconds属性的特性：

• Pandas的Timedelta对象支持正负值，但.dt.seconds仅返回0到86399之间的正整数（对应一天内的秒数），会自动将负时间差转换为「一天减去差值绝对值」的正数，比如-10秒会被转成86390秒。

正确获取带符号时间差的方式 #

放弃使用.dt.seconds，改用以下两种方法：

1. 提取带符号的总秒数：

df["dt_neg"] = df.index.to_series().diff(periods=-1).dt.total_seconds()

修正后结果：

values    dt  dt_neg
2023-11-18 00:00:00       4   NaN   -10.0
2023-11-18 00:00:10       2   NaN   -10.0
2023-11-18 00:00:20       3  20.0     NaN

完全符合预期的负时间差逻辑。

2. 保留Timedelta原始类型：

df["dt_neg"] = df.index.to_series().diff(periods=-1)

结果会显示完整带符号的时间差：

values    dt  dt_neg
2023-11-18 00:00:00       4   NaN -0 days 00:00:10
2023-11-18 00:00:10       2   NaN -0 days 00:00:10
2023-11-18 00:00:20       3  20.0      NaT

负周期参数的有效性验证 #

负周期参数本身可以正常工作，逻辑为当前行减去后N行的时间值（periods=-N等价于当前行 - shift(N)）。只要不使用.dt.seconds提取，就能得到正确的带符号结果。

比如测试periods=-10：

date_rng_long = pd.date_range(start="2023-11-18", periods=15, freq="10S")
s = pd.Series(index=date_rng_long)
s_diff_neg10 = s.index.to_series().diff(periods=-10).dt.total_seconds()
print(s_diff_neg10.head(12))

输出结果：

2023-11-18 00:00:00   -100.0
2023-11-18 00:00:10   -100.0
2023-11-18 00:00:20   -100.0
2023-11-18 00:00:30   -100.0
2023-11-18 00:00:40   -100.0
2023-11-18 00:00:50   -100.0
2023-11-18 00:01:00   -100.0
2023-11-18 00:01:10   -100.0
2023-11-18 00:01:20   -100.0
2023-11-18 00:01:30   -100.0
2023-11-18 00:01:40      NaN
2023-11-18 00:01:50      NaN

可见periods=-10正确计算了当前时间与10个周期后时间的差值（-100秒），功能正常。

内容的提问来源于stack exchange，提问作者Fred