如何实现Pandas多字段分组计数后补全缺失日期并填充0

实现方案 #

你可以通过生成「所有州+国家组合」和「全局日期范围」的完整笛卡尔积，再和分组统计结果关联补全缺失值，该方案适配多国家、大量州+国家组合的场景，具体实现步骤如下：

步骤1：预处理日期格式

首先把原始数据的日期列转换为pandas datetime类型，方便生成连续日期序列：

import pandas as pd
# 你的原始数据
data = pd.DataFrame({'state':['ny','sf','tx','ny','ny'],'country':['usa','usa','usa','usa','usa'],
                     'Date':['01/01/2020','01/01/2020','01/01/2020','01/02/2020','01/02/2020']})
# 转换日期格式
data['Date'] = pd.to_datetime(data['Date'], format='%m/%d/%Y')

步骤2：生成完整的索引组合

取原始数据的全局最小/最大日期生成连续日期序列，同时提取所有不重复的州+国家组合，生成二者的笛卡尔积得到所有需要补全的行：

# 生成全局连续日期范围
all_dates = pd.date_range(start=data['Date'].min(), end=data['Date'].max(), freq='D')
# 提取所有唯一的州+国家组合
state_country_pairs = data[['state', 'country']].drop_duplicates()
# 生成所有州+国家+日期的完整组合（pandas 1.2.0及以上支持cross合并）
full_combinations = state_country_pairs.merge(pd.DataFrame({'Date': all_dates}), how='cross')

步骤3：关联分组统计结果补全缺失值

先做原有的分组计数，再和完整组合左关联，缺失的计数值填充为0即可：

# 分组统计计数
group_data = data.groupby(['state','country','Date']).size().reset_index(name='count')
# 左关联补全缺失行，填充0
result = full_combinations.merge(group_data, on=['state','country','Date'], how='left').fillna(0)
# 可选：如果需要把日期转回原字符串格式，执行下面这行
result['Date'] = result['Date'].dt.strftime('%m/%d/%Y')
# 把计数列转为整数类型
result['count'] = result['count'].astype(int)

可选更简洁的重索引实现

你也可以通过多重索引重索引的方式实现，代码更简洁：

data['Date'] = pd.to_datetime(data['Date'], format='%m/%d/%Y')
# 先做分组统计
grouped = data.groupby(['state','country','Date']).size()
# 生成完整的多重索引
full_index = pd.MultiIndex.from_product(
    [data['state'].unique(), data['country'].unique(), pd.date_range(data['Date'].min(), data['Date'].max(), freq='D')],
    names=['state','country','Date']
)
# 重索引填充0，重置索引得到最终结果
result = grouped.reindex(full_index, fill_value=0).reset_index()
# 同样可以按需转回到日期字符串格式
result['Date'] = result['Date'].dt.strftime('%m/%d/%Y')

最终输出的result就和你期望的格式完全一致。

内容的提问来源于stack exchange，提问作者Alejandro A