You need to enable JavaScript to run this app. 解决Pandas补全30分钟时间序列缺失行时cannot reindex from a duplicate axis报错
优惠活动
大模型
产品
解决方案
定价
更多

解决Pandas补全30分钟时间序列缺失行时cannot reindex from a duplicate axis报错

问题原因

你遇到的报错有两个核心诱因:

  1. 已排查到的同一(eqmt_id, brand_brew_code)分组下存在重复时间戳,set_index后生成重复索引,触发reindex报错
  2. 原有双层for循环写法逻辑冗余,遍历所有eqmt_id和brand_brew_no的排列组合会重复处理相同分组,不仅效率极低,也容易引入额外的重复数据问题

正确实现代码

import pandas as pd

# 1. 提前统一转换Timestamp为datetime格式,指定日-月-年的格式避免解析错误
dfz['Timestamp'] = pd.to_datetime(dfz['Timestamp'], format='%d-%m-%Y %H:%M')

appended_data = []
# 按设备和酿造代码分组处理,替代冗余的双层循环
# 若实际字段名为brand_brew_no,请替换下方的brand_brew_code为实际字段名
for (eqmt_id, brew_code), group in dfz.groupby(['eqmt_id', 'brand_brew_code']):
    # 2. 清理同分组下的重复时间戳,keep='last'表示保留最新的重复记录,需保留最早可改为keep='first'
    group_unique = group.drop_duplicates(subset='Timestamp', keep='last').copy()
    # 设置时间为索引
    group_unique.set_index('Timestamp', inplace=True)
    # 3. 生成30分钟间隔的完整时间序列
    full_time_range = pd.date_range(
        start=group_unique.index.min(),
        end=group_unique.index.max(),
        freq='30min'
    )
    # 重索引后前向填充缺失值
    group_reindexed = group_unique.reindex(full_time_range).ffill()
    # 恢复时间列为普通列
    group_result = group_reindexed.reset_index(names='Timestamp')
    appended_data.append(group_result)

# 合并所有分组结果得到最终表
final_df = pd.concat(appended_data, ignore_index=True)
# 若需要将时间列转回原字符串格式,可取消注释下面这行
# final_df['Timestamp'] = final_df['Timestamp'].dt.strftime('%d-%m-%Y %H:%M')

关键逻辑说明

  • 重复数据处理:先通过drop_duplicates清理同分组下的重复时间记录,从根源解决重复索引报错问题,保留规则可根据业务需求灵活调整
  • 效率优化:用groupby直接遍历唯一的分组组合,避免原写法重复处理相同分组,运行效率提升数十倍
  • 兼容性优化:提前指定时间格式转换,避免pandas自动解析时间出错,也减少了循环内的重复计算

内容的提问来源于stack exchange,提问作者simpleboi

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.16 23:15:02