解决Pandas补全30分钟时间序列缺失行时cannot reindex from a duplicate axis报错
问题原因
你遇到的报错有两个核心诱因:
- 已排查到的同一
(eqmt_id, brand_brew_code)分组下存在重复时间戳,set_index后生成重复索引,触发reindex报错 - 原有双层for循环写法逻辑冗余,遍历所有
eqmt_id和brand_brew_no的排列组合会重复处理相同分组,不仅效率极低,也容易引入额外的重复数据问题
正确实现代码
import pandas as pd # 1. 提前统一转换Timestamp为datetime格式,指定日-月-年的格式避免解析错误 dfz['Timestamp'] = pd.to_datetime(dfz['Timestamp'], format='%d-%m-%Y %H:%M') appended_data = [] # 按设备和酿造代码分组处理,替代冗余的双层循环 # 若实际字段名为brand_brew_no,请替换下方的brand_brew_code为实际字段名 for (eqmt_id, brew_code), group in dfz.groupby(['eqmt_id', 'brand_brew_code']): # 2. 清理同分组下的重复时间戳,keep='last'表示保留最新的重复记录,需保留最早可改为keep='first' group_unique = group.drop_duplicates(subset='Timestamp', keep='last').copy() # 设置时间为索引 group_unique.set_index('Timestamp', inplace=True) # 3. 生成30分钟间隔的完整时间序列 full_time_range = pd.date_range( start=group_unique.index.min(), end=group_unique.index.max(), freq='30min' ) # 重索引后前向填充缺失值 group_reindexed = group_unique.reindex(full_time_range).ffill() # 恢复时间列为普通列 group_result = group_reindexed.reset_index(names='Timestamp') appended_data.append(group_result) # 合并所有分组结果得到最终表 final_df = pd.concat(appended_data, ignore_index=True) # 若需要将时间列转回原字符串格式,可取消注释下面这行 # final_df['Timestamp'] = final_df['Timestamp'].dt.strftime('%d-%m-%Y %H:%M')
关键逻辑说明
- 重复数据处理:先通过
drop_duplicates清理同分组下的重复时间记录,从根源解决重复索引报错问题,保留规则可根据业务需求灵活调整 - 效率优化:用
groupby直接遍历唯一的分组组合,避免原写法重复处理相同分组,运行效率提升数十倍 - 兼容性优化:提前指定时间格式转换,避免pandas自动解析时间出错,也减少了循环内的重复计算
内容的提问来源于stack exchange,提问作者simpleboi
相关产品推荐
相关产品推荐

