如何为Datetime索引的Pandas DataFrame补充零值以适配绘图

核心思路 #

先定位所有all分类字段全为0的时间戳，批量生成对应三个分类的0值行，再合并回原DataFrame，全程用Pandas向量化操作替代低效的循环。

代码实现 #

假设你的DataFrame结构为：Datetime索引 + category列（取值black/red/green/all） + num_files/num_lines/worst_index三个数值列。

import pandas as pd

# 1. 筛选出需要补充行的目标时间戳
# 条件：all分类下三个数值字段全为0
target_timestamps = df[
    (df['category'] == 'all') &
    (df['num_files'] == 0) &
    (df['num_lines'] == 0) &
    (df['worst_index'] == 0)
].index.unique()

# 2. 生成要补充的0值行
categories = ['black', 'red', 'green']
# 构造重复的时间戳和分类组合
add_rows = pd.DataFrame({
    'category': categories * len(target_timestamps),
    'num_files': 0,
    'num_lines': 0,
    'worst_index': 0
}, index=target_timestamps.repeat(len(categories)))

# 3. 合并并整理数据
# 合并后去重（防止原数据已有对应行），再排序保证顺序一致
df_updated = pd.concat([df, add_rows]).drop_duplicates(
    subset=[df.index.name, 'category'], keep='first'
)
df_updated = df_updated.sort_index().sort_values('category', kind='mergesort')

为什么你的原方法失败？ #

用iterrows+loc循环操作时，容易出现以下问题：

• 循环中loc赋值可能因为索引对齐规则导致行没有被正确插入
• iterrows逐行处理效率极低，且容易遗漏时间戳
• 手动维护索引和分类的组合容易出错

验证方法 #

可以用以下代码检查每个时间戳是否包含四个分类：

# 检查每个时间戳的分类数量是否为4（all+3个分类）
assert df_updated.groupby(level=0)['category'].nunique().all() == 4, "存在缺失分类的时间戳"

内容的提问来源于stack exchange，提问作者Mr.Rulez