固定seed下LightGBM模型结果仍波动的原因排查

我使用以下Python代码训练LightGBM模型：

import lightgbm as lgb

# Set parameters
params = {
    "objective": "regression",
    "num_leaves": 16,
    "learning_rate": 0.05,
    "feature_fraction": 0.5,
    "verbose": 0,
    "nthread": -1,
    "metric": "l1",
    "linear_tree": False,
    "bagging_fraction": 0.632,
    "bagging_freq": 1,
    "min_data_in_leaf": 20,
    "num_iterations": 200,
    "early_stopping_round": None,
    "seed": 42,
}

# Create datasets
df_train = lgb.Dataset(...)
df_test = lgb.Dataset(...)

# Train model
fit_lgb = lgb.train(
    params=params,
    train_set=df_train,
    valid_sets=[df_train, df_test]
)

尽管我设置了固定seed（seed=42），且已添加/替换以下参数：

"deterministic": True,
"nthread": 1,
"force_col_wise": True,

但多次运行后模型结果仍存在差异，请问这些差异可能由哪些原因导致？

• 数据集层面的随机性
  如果df_train或df_test的创建过程包含未固定随机种子的操作（比如用train_test_split划分数据集时没设random_state、随机采样、数据洗牌等），即使模型训练的seed固定，每次输入的数据集本身就有差异，自然会导致结果不同。
  解决：检查数据集生成的全流程，确保所有涉及随机的操作都设置固定seed。

• 未覆盖LightGBM的细分随机种子参数
  LightGBM的主seed参数并不完全覆盖所有随机操作，比如bagging_fraction和feature_fraction对应的随机采样，有单独的bagging_seed和feature_fraction_seed参数。如果这些参数未显式设置，可能仍会引入随机性。
  解决：在参数中添加"bagging_seed": 42和"feature_fraction_seed": 42，确保所有随机采样环节都用固定seed。

• 环境依赖的版本或硬件差异
  不同运行环境中，LightGBM本身的版本、numpy/scipy等依赖库的版本不一致，或者CPU架构（比如x86 vs ARM）、浮点数运算单元的差异，可能导致底层随机数生成或计算精度出现细微差别，累积后影响模型结果。
  解决：固定所有依赖库的版本（比如用requirements.txt锁定），在相同硬件环境下运行训练。

• 浮点数运算的固有不确定性
  即使所有参数和数据都固定，浮点数运算的顺序差异（比如某些底层优化导致的计算顺序变化）可能带来微小的精度误差，在树模型的迭代训练中被放大，最终导致模型结果不同。
  解决：尝试设置"enable_bundle": False关闭部分优化，或者对数据集的样本按特征值排序后再训练，减少分裂点选择的不确定性。

• 数据集存在重复特征值或样本
  当数据中存在大量特征值相同的样本时，LightGBM在选择分裂样本时可能因内部遍历顺序的细微差异（即使seed固定）产生不同的分裂结果，进而影响后续树的结构。
  解决：对数据集进行去重，或者在创建lgb.Dataset时指定free_raw_data=False并固定样本顺序。

内容的提问来源于stack exchange，提问作者Julian