处理Pandas时间序列：解决重复标签重索引ValueError错误

原始数据 #

cube   timestamp          temp   
timestamp               
2022-08-01 00:15:05.135  A1       2022-08-01 00:15:05.135    NaN

2022-08-01 00:15:37.255  A1       2022-08-01 00:15:37.255    23.17  

2022-08-01 00:23:05.139  A1       2022-08-01 00:23:05.139    NaN    

2022-08-01 00:23:15.137  A1       2022-08-01 00:23:15.137    NaN    

2022-08-11 11:33:20.738  P19      2022-08-11 00:15:05.135    NaN    

问题场景 #

尝试通过以下代码按cube分组，对temp列的NaN值进行时间插值时，触发错误ValueError: cannot reindex on an axis with duplicate labels：

idata.set_index(idata['timestamp'],inplace = True)
idata['temp'] = idata.groupby('cube')['temp'].apply(lambda x:x.interpolate(method="time",limit_direction = "both"))

错误原因：将timestamp设为单索引后，不同cube可能存在重复的时间戳，导致索引不唯一；分组插值后返回的结果无法与原数据的重复索引匹配，从而触发重索引错误。

解决方案 #

方法1：使用多重索引保证唯一性 #

通过cube+timestamp构建多重索引，确保索引唯一，再执行分组插值：

# 设置cube和timestamp为多重索引
idata = idata.set_index(['cube', 'timestamp'])

# 按cube分组（通过索引层级指定）并插值
idata['temp'] = idata.groupby(level='cube')['temp'].apply(
    lambda x: x.interpolate(method='time', limit_direction='both')
)

# 可选：恢复原始数据结构（重置索引）
idata = idata.reset_index()

方法2：遍历分组单独处理 #

逐个处理每个cube分组，避免跨分组的索引冲突：

import pandas as pd

processed_groups = []
# 遍历每个cube分组
for cube_name, group in idata.groupby('cube'):
    # 对当前分组设置timestamp为索引（分组内无重复时间戳即可正常插值）
    group_temp = group.set_index('timestamp')
    # 执行时间插值
    group_temp['temp'] = group_temp['temp'].interpolate(method='time', limit_direction='both')
    # 重置索引并保留cube标识
    group_temp = group_temp.reset_index()
    group_temp['cube'] = cube_name
    processed_groups.append(group_temp)

# 合并所有处理后的分组
idata_processed = pd.concat(processed_groups, ignore_index=True)

内容的提问来源于stack exchange，提问作者Ravindran