Python用线性回归预测时间序列A类客户数量的异常问题排查

这问题我之前处理类似客流预测需求时也碰到过！核心原因大概率是每分钟的原始数据噪声太强，把潜在的趋势完全掩盖，导致线性回归模型拟合出的斜率m几乎为0，最终预测结果就只能是截距c=2.213。而每2分钟统计一次相当于做了一次简单的聚合平滑，噪声被削弱，趋势自然就显现出来了。

先排查数据本身的问题 #

首先建议你先可视化数据，这是最快定位问题的方法：

import matplotlib.pyplot as plt
import pandas as pd

# 绘制每分钟数据的散点图
plt.figure(figsize=(10,5))
plt.scatter(df1['X'], df1['Y'], alpha=0.5)
plt.title('每分钟A类客户数 vs 时间步')
plt.xlabel('时间步（分钟）')
plt.ylabel('A类客户数量')
plt.show()

# 对比2分钟聚合后的散点图（如果有聚合后的数据）
# df2 = df1.groupby(df1.index // 2)['Y'].sum().reset_index()
# plt.scatter(df2['index'], df2['Y'])
# plt.title('每2分钟A类客户数 vs 时间步')
# plt.show()

你会发现每分钟的散点大概率杂乱无章——比如Y值大多是0或1，偶尔出现2，完全看不出线性趋势；而2分钟聚合后，Y值范围扩大、波动变小，潜在的时段趋势就清晰了。线性回归在没有明显线性趋势的数据上，自然会拟合出斜率接近0的模型，预测结果就只能停留在截距值。

具体解决方法 #

根据你的需求，我整理了几个可行的方向：

1. 对原始数据做平滑处理 #

既然每分钟数据噪声大，我们可以先对Y值做移动平均平滑，抹平短期波动后再训练模型：

# 用3分钟窗口的移动平均生成平滑后的Y值
df1['Y_smoothed'] = df1['Y'].rolling(window=3).mean().dropna()
# 用平滑后的数据重新训练线性回归模型
from sklearn.linear_model import LinearRegression
model = LinearRegression()
model.fit(df1[['X']].iloc[2:], df1['Y_smoothed'])
# 查看新的回归参数
print(f"新回归方程：y = {model.coef_[0]}x + {model.intercept_}")

平滑后的数据能让模型捕捉到更稳定的趋势，预测结果不会再固定为截距。

2. 提取更有效的时间特征 #

别单纯用递增的时间步作为X！客户数量通常和时段强相关（比如早高峰、午间低谷），你可以从时间戳里提取这些更有意义的特征：

# 假设X是时间戳列，先转成datetime类型
df1['timestamp'] = pd.to_datetime(df1['X'])
# 提取小时、是否处于高峰时段等特征
df1['hour'] = df1['timestamp'].dt.hour
df1['is_peak'] = df1['hour'].apply(lambda x: 1 if 8<=x<=10 or 17<=x<=19 else 0)
# 用这些特征训练模型
model.fit(df1[['hour', 'is_peak']], df1['Y'])

这样模型能学习到真实的客流规律，而不是盯着无意义的时间步数值。

3. 更换更适合计数数据的模型 #

你的Y是客户数量（非负整数），属于计数型数据，线性回归其实不是最优选择——它允许预测出负数，且对离散计数的拟合效果较差。推荐试试这两个模型：

• 泊松回归：专门针对计数型因变量的回归模型

  from sklearn.linear_model import PoissonRegressor
  model = PoissonRegressor()
  model.fit(df1[['X']], df1['Y'])
  

• ARIMA时间序列模型：适合捕捉时间序列的自相关性

  from statsmodels.tsa.arima.model import ARIMA
  # order参数可根据数据调整，(1,1,1)是常用初始值
  model = ARIMA(df1['Y'], order=(1,1,1))
  result = model.fit()
  # 预测未来10个时间步的客户数
  predictions = result.predict(start=len(df1), end=len(df1)+9)
  

最后总结 #

你当前的问题本质是线性回归不适合噪声大、无明显线性趋势的原始计数数据，而2分钟聚合恰好做了平滑，让模型能学到趋势。通过数据平滑、特征工程或者更换更匹配的模型，就能解决预测结果固定为截距的问题。

内容的提问来源于stack exchange，提问作者Amarjit Dhillon