时间序列补全扩散模型采样发散：代码排查与原因咨询

我正在基于Diffwave、CSDI和DDPM的修改版扩散模型做时间序列缺失数据补全，但采样过程持续出现发散问题，调整参数和模型架构后仍未解决。现聚焦两个核心问题：

1. 当前DDPM采样代码是否存在问题？ #

从DDPM标准反向过程逻辑来看，代码框架是正确的，但有几个关键细节需要逐一验证：

（1）噪声预测目标的匹配性 #

采样代码中predicted = self.forward(...)的核心前提是：模型输出必须是预测的噪声εₜ（即DDPM核心学习目标——从xₜ和t还原前向过程添加的噪声）。如果你的模型实际学习的是其他目标（比如直接预测x₀、x_{t-1}），当前的计算逻辑current_sample = coeff1[t] * (current_sample - coeff2[t] * predicted)完全错误，会直接导致采样发散。

（2）σ计算与训练的一致性 #

你采用的σ计算方式是贝叶斯后验推导的结果：

sigma = ((1-self.alpha_bars[t-1])*self.betas[t]/(1-self.alpha_bars[t]))**0.5

而标准DDPM常使用固定值sigma = self.betas[t]**0.5。两种方式均可行，但必须保证训练前向噪声添加逻辑与反向采样的σ选择完全匹配，否则会出现分布偏差，引发发散。

（3）张量维度与索引正确性 #

• 确认t的索引与self.alpha_bars、self.alphas维度完全匹配：当n_steps=1000时，alpha_bars长度为1000，循环从999到0的索引不会越界，但如果模型中t的编码方式是从1开始而非0，会直接导致索引错误。
• 检查current_sample、observed_data等张量的维度一致性，避免广播操作引发的计算异常。

（4）掩码操作的合理性 #

最后返回current_sample * mask_ta，需确认mask_ta逻辑正确：如果mask_ta标记缺失需要补全的位置为1、观测位置为0，则操作合理；若逻辑相反，会清零有效数据，导致结果异常。

2. 代码无问题时，采样发散的潜在原因 #

若采样代码逻辑确认正确，发散问题通常来自训练、模型设计或数据处理环节，常见原因包括：

• 训练不充分或模型拟合不足：
  扩散模型需要足够训练步数才能学习到数据分布，若训练轮次不足，模型无法准确预测噪声，反向采样误差会逐步积累导致发散；同时，若模型容量不足以捕捉时间序列的复杂时序依赖，也会导致噪声预测偏差过大，采样失控。

• 数据预处理错误：
  扩散模型对数据尺度极度敏感，若时间序列未做归一化、或归一化方式（均值、方差）在训练与采样时不一致，采样数值会快速膨胀；另外，若训练时的缺失掩码生成逻辑（如随机掩码）与推理时的真实缺失掩码不匹配，模型无法正确利用观测信息，也会引发发散。

• β调度不合理：
  尽管你使用了DDPM标准线性β调度（0.0001到0.02，1000步），但针对时间序列数据，可能需要调整β范围或调度方式：比如β_max过大，会导致前向过程早期噪声添加过多，模型难以学习；或者步数不足，导致反向采样每一步噪声去除幅度过大。

• 条件扩散逻辑错误：
  CSDI核心是利用观测掩码和条件数据生成补全结果，若模型未正确融入observed_data和cond_mask（如注意力机制未区分观测/缺失、条件数据与x_t拼接错误），模型无法基于观测信息生成合理结果，最终导致采样发散。

• 数值稳定性问题：
  训练时的梯度爆炸/消失会导致模型参数异常；另外，alpha_bars通过torch.prod累积计算，当步数较多时会出现数值下溢，建议改用对数累积优化：

  self.log_alphas = torch.log(self.alphas)
  self.log_alpha_bars = torch.cumsum(self.log_alphas, dim=0)
  self.alpha_bars = torch.exp(self.log_alpha_bars).to(device)
  

采样结果示例 #

红线为采样结果，绿线为归一化后的目标数据（采样结果出现明显发散波动，与目标数据趋势完全偏离）

内容的提问来源于stack exchange，提问作者Bluerobin