已设置Python所有随机种子，强化学习训练结果仍出现后期分化问题

问题背景 #

我自行编写了一套基于强化学习的智能体训练程序，已按要求设置了所有随机种子：

import os
import random
import numpy as np
import torch as th

def set_seed(seed):
    os.environ["PYTHONHASHSEED"]=str(seed)
    random.seed(seed)
    np.random.seed(seed)
    th.manual_seed(seed)

    if th.cuda.is_available():
        th.cuda.manual_seed(seed)
        th.cuda.manual_seed_all(seed)
    th.manual_seed(seed)

    th.backends.cudnn.deterministic = True
    th.backends.cudnn.benchmark = False
    th.use_deterministic_algorithms(True)

set_seed(42)

数据集仅包含一个场景数据，已排除DataLoader问题，且移除了所有时间模块，但每次训练的损失、奖励曲线在前约100万时间步完全一致，之后逐渐分化。

可能的原因 #

• CUDA操作的确定性漏洞：尽管基础种子设置已覆盖核心库，但部分PyTorch版本中，部分CUDA操作（如特定版本的分组归一化、稀疏矩阵运算）仍可能存在非确定性实现，全局的确定性开关并未覆盖所有操作。
• 浮点数精度累积误差：百万步训练过程中，浮点数运算的微小舍入误差会持续累积。CUDA的并行运算特性可能导致同一步骤的计算顺序在不同运行中存在差异，这些微小差异最终被放大，导致曲线分化（CPU环境下这类误差通常更难累积）。
• 未覆盖的随机源：检查是否使用了random/numpy/torch之外的随机库（如scipy、opencv），这类库的种子未被设置会引入隐藏随机性；另外强化学习环境的内部状态初始化是否完全受种子控制，也可能是潜在问题。
• 动态训练逻辑的隐性随机性：比如学习率调度器的动态调整是否依赖未种子化的变量，或是某些自定义训练步骤中存在未被控制的分支逻辑。

解决建议 #

• 升级PyTorch到最新稳定版：旧版本的确定性模式存在已知bug，新版本会修复更多操作的非确定性问题，确保use_deterministic_algorithms(True)能覆盖更多场景。
• 全面排查并覆盖所有随机源：给所有用到的第三方随机库设置相同种子；仔细检查强化学习环境代码，确保所有随机相关的状态初始化都绑定到全局种子。
• 在CPU环境下验证：如果训练规模允许，尝试在CPU上运行训练，若曲线不再分化，即可确认是CUDA浮点数精度/并行运算顺序导致的误差累积。
• 核对PyTorch确定性操作列表：参考PyTorch官方文档，确认你使用的所有操作（如RNN、归一化层）都支持确定性模式，对部分需要手动设置参数的操作（如LSTM的deterministic参数）单独配置。

内容的提问来源于stack exchange，提问作者Fanxing LI