时间序列客户新增数据负值替换为正值的处理方案咨询

现有方案优劣分析 #

当前在用的后向填充方案 #

你现在用的df['New customer added'].mask(df['New customer added'].lt(0)).bfill().fillna(0)逻辑问题较大：从样本数据看，Week21、Week26的负值后面跟着的都是接近2000的极端高值，用这类值填充负值会导致数据出现不符合常规新增水平的异常点，除非这些高值是业务大促等特殊场景带来的真实有效数据，否则该方案会严重影响后续分析结果的准确性。

前序2-3个正值均值填充方案 #

这个方案的合理性要结合你的业务场景判断：

• 优势：填充值和近期正常的新增水平对齐，不会出现后向填充的极端值问题，适合客户新增整体平稳、没有大幅波动的业务场景。
• 缺陷：如果出现连续多周负值，一直复用同一批前序正值计算均值会生成连续重复值，干扰趋势判断；如果前序正值本身包含异常值（比如样本里Week01的1881和后续个位数新增偏差极大），均值计算结果也会失真。

更优的处理方案推荐 #

第一步：先做前置数据校验 #

先把样本里和整体新增水平偏差超过2个标准差的异常值（比如Week01的1881、Week22的1867、Week27的1891）单独标记，先确认是业务特殊活动带来的真实新增，还是数据录入/统计口径错误，先修正异常值再做填充，避免错误数据影响填充效果。

第二步：结合业务场景选填充逻辑 #

你可以根据自己的分析需求选对应的方案：

• 如果你后续要做常规统计分析，业务新增没有明显周期性：可以优化你设想的均值填充逻辑，把填充后的值纳入均值计算池，避免连续负值出现重复填充值，参考代码如下：

import pandas as pd
import numpy as np

def fill_neg_with_rolling_pos_mean(series, window=3):
    valid_pos_vals = []
    filled_result = []
    for val in series:
        if val >= 0:
            filled_result.append(val)
            valid_pos_vals.append(val)
            # 仅保留最近window个有效值控制计算范围
            if len(valid_pos_vals) > window:
                valid_pos_vals.pop(0)
        else:
            # 有效值不足时用0填充，也可以根据业务调整为其他默认值
            fill_val = round(np.mean(valid_pos_vals)) if valid_pos_vals else 0
            filled_result.append(fill_val)
            # 填充值加入有效值池，供后续连续负值计算使用
            valid_pos_vals.append(fill_val)
            if len(valid_pos_vals) > window:
                valid_pos_vals.pop(0)
    return pd.Series(filled_result, index=series.index)

# 调用示例
df['filled_new_customer'] = fill_neg_with_rolling_pos_mean(df['New customer added'], window=3)

• 如果你的业务新增有明显的周度/月度周期性（比如固定每周三做拉新活动，新增量更高）：优先用同周期的历史正数值均值填充，比如周三的负值就用过去4周周三的正数值均值填充，更贴合实际业务规律。
• 如果后续要做时间序列预测：可以用线性插值或者时间加权插值法填充，比固定均值更能贴合数据的变化趋势。

内容的提问来源于stack exchange，提问作者Suhas_Pote