如何在不同电脑上使用Keras/Tensorflow得到可复现的训练结果

问题原因 #

• 硬件与底层运算库差异：不同CPU架构、GPU型号、CUDA/cuDNN版本会导致浮点运算的实现逻辑存在微小差异，TensorFlow的CUDA优化算子默认允许非确定性运算，微小的浮点误差经过多轮训练迭代累计后，会产生明显的损失数值差异。
• 依赖环境未完全对齐：Python版本、numpy等基础运算库的小版本差异，会导致随机数生成逻辑、数值计算结果不一致。
• TensorFlow确定性配置缺失：仅设置随机种子无法禁用框架内置的非确定性操作，多线程算子调度、运算优化都会引入随机性。
• 数据加载逻辑存在随机性：如果数据shuffle、随机增强、多线程预处理未显式固定种子，也会导致不同设备的训练数据输入顺序、预处理结果不一致。

解决方案 #

1. 全运行环境对齐 #

• 确保两侧Python版本完全一致，所有依赖包版本统一：你可以在本地执行pip freeze > requirements.txt导出依赖清单，朋友侧执行pip install -r requirements.txt完成环境同步，重点保证TensorFlow、numpy、scipy等核心库版本完全匹配。
• 对齐CUDA、cuDNN版本：TensorFlow 2.5.0的官方匹配版本为CUDA 11.2 + cuDNN 8.1，两侧需保持完全一致，禁止出现版本差异。
• 尽量保持硬件架构统一：优先使用同型号NVIDIA GPU训练，或统一切换为CPU训练，避免硬件架构带来的浮点运算差异。

2. 开启TensorFlow全局确定性配置 #

在所有业务代码执行前，添加以下配置代码，禁用非确定性操作：

import os
import tensorflow as tf

# 启用确定性算子
os.environ['TF_DETERMINISTIC_OPS'] = '1'
os.environ['TF_CUDNN_DETERMINISTIC'] = '1'

# 关闭JIT编译优化，避免非确定性
tf.config.optimizer.set_jit(False)

# 固定算子调度线程数，消除多线程调度随机性
tf.config.threading.set_inter_op_parallelism_threads(1)
tf.config.threading.set_intra_op_parallelism_threads(1)

注：开启确定性配置后训练速度会有所下降，属于正常现象。

3. 固定数据加载与预处理逻辑的随机性 #

• 所有tf.data.Dataset.shuffle操作必须显式指定固定seed参数：dataset.shuffle(buffer_size, seed=你的固定随机种子)
• 所有随机数据增强层（如RandomFlip、RandomCrop）、权重初始化器必须显式传入固定seed参数
• tf.data的map、prefetch操作需开启确定性配置：dataset.map(预处理函数, num_parallel_calls=tf.data.AUTOTUNE, deterministic=True)，若仍有差异可将并行数改为1。

4. 训练参数完全对齐 #

确保两侧的batch size、迭代轮数、优化器配置（学习率、权重衰减、动量等）完全一致，混合精度训练、梯度裁剪等策略需要两侧同时开启或关闭，禁止单侧配置。

内容的提问来源于stack exchange，提问作者Andor Kiss