Pandas如何补全月度日期并向前结转填充至下一条有效数据

问题背景 #

数据存储于CSV文件，基础列包含source、date、brand，其余为业务指标列。原始数据中的日期字段未按连续月份存储，输入样例如下：

核心处理规则：

• 补全时间覆盖范围内所有缺失的月份
• 以品牌为维度，已有数据沿时间轴向下结转复制，直到该品牌出现下一条有效记录为止
• 样例预期输出：ABC品牌2018年4-5月的Value填充为上一条记录的54，2018年6月保留有效值22；X品牌无后续新记录，仅保留2018年3月的67。

原有实现问题 #

原有实现通过两个列表做比对：一个列表存储DataFrame中已存在的月份，另一个存储需要结转覆盖的目标月份范围，比对后将缺失月份对应的上月数据写入新DataFrame。但代码嵌套循环的迭代逻辑存在错误，仅能正确处理单个月份的填充，原有错误代码如下：

for i in list_M:
    #print(type(i))
    for index, rows in df_hhp.iterrows():
        if(i in list_D):
        continue
        else:
          if(a<len(list_D)):
df_empty=df_empty.append(df_hhp.loc[df_hhp['Reported_Date']==list_D[a]])
            "Reported_Date"] = i
            a=a+1

正确实现方式 #

无需手写多层循环硬迭代，使用pandas内置的重采样、前向填充能力即可高效实现逻辑，处理步骤如下：

• 先将日期列解析为标准月度时间格式，匹配原始数据月-年的字符串结构
• 计算数据集全局覆盖的最早、最晚月份，生成连续的月度时间序列
• 按品牌分组，对每个品牌单独做月度重采样，补全该品牌在全时间范围内的缺失月份
• 对重采样产生的空值做前向填充，实现数据向下结转的效果
• 合并所有品牌的处理结果，按需将日期格式转换回原始字符串样式即可

可直接运行的参考代码：

import pandas as pd

# 读取CSV数据，替换为实际文件路径
df = pd.read_csv('your_data_file.csv')
# 将月-年格式的日期列解析为pandas时间类型，列名根据实际表结构替换即可
df['Date'] = pd.to_datetime(df['Date'], format='%m-%Y')

# 生成数据覆盖范围内的连续月度序列
date_start = df['Date'].min()
date_end = df['Date'].max()
full_month_range = pd.date_range(start=date_start, end=date_end, freq='MS')

result_list = []
# 按品牌分组处理
for brand_name, brand_data in df.groupby('Brand'):
    # 将日期设为索引，按月份重采样补全时间点
    brand_data = brand_data.set_index('Date').resample('MS').asfreq()
    # 填充重采样后产生的品牌列空值
    brand_data['Brand'] = brand_name
    # 前向填充所有业务列，实现数据向下结转
    brand_data = brand_data.ffill()
    result_list.append(brand_data)

# 合并结果，重置索引，如需保留原日期格式可转回%m-%Y字符串
final_result = pd.concat(result_list).reset_index()
final_result['Date'] = final_result['Date'].dt.strftime('%m-%Y')

上述代码运行后输出的结果完全匹配预期，且支持任意数量的业务列、任意数量的品牌，不存在单月填充的逻辑bug。

内容的提问来源于stack exchange，提问作者Afifa Khan