Pandas中如何延续30秒间隔的时间戳索引并填充NaN行
解决方案
最优方案:统一重索引(适配多DataFrame批量对齐场景)
该方案最适配你当前的批量处理需求,效率远高于逐行拼接,适合数十万行的大表处理:
- 先基于所有DataFrame的统一起始时间、全部DataFrame的最大结束时间,生成30秒间隔的完整时间索引:
import pandas as pd import numpy as np # 替换为你实际的统一起始时间、所有df的最大结束时间 start_time = pd.to_datetime("2014-02-01 09:58:03") max_end_time = pd.to_datetime("2014-02-01 10:00:03") full_time_idx = pd.date_range(start=start_time, end=max_end_time, freq="30S")
- 对每个DataFrame执行重索引操作,缺失的时间点会自动填充
np.nan:
# 单df处理示例,批量场景可以循环遍历所有df执行该操作 df_aligned = df.reindex(full_time_idx)
处理后所有DataFrame的索引、长度完全一致,直接转换为numpy数组堆叠后,就可以用np.nanmean()计算同位置均值。
可选方案:拼接补位DataFrame的正确写法
如果你仅需要给单个DataFrame补末尾的N行NaN数据,可按如下方式实现:
# 需补充的行数 add_rows = 2 # 生成延续原索引规则的新时间索引 new_idx = pd.date_range( start=df.index[-1] + pd.Timedelta(seconds=30), periods=add_rows, freq="30S" ) # 生成带正确索引、列结构的补位df add_df = pd.DataFrame(np.nan, index=new_idx, columns=df.columns) # 拼接,注意pd.concat第一个参数需传入df列表 df = pd.concat([df, add_df])
原代码问题说明
你之前的代码出错有两个核心原因:
pd.concat第一个参数要求传入可迭代的DataFrame集合(比如列表),你直接传入单个df作为第一个参数属于语法错误,高版本pandas会直接抛出异常- 新建的补位DataFrame没有指定时间索引,默认生成0、1的整数索引,拼接后自然无法延续原时间戳规则
内容的提问来源于stack exchange,提问作者adamcatto
相关产品推荐
相关产品推荐

