LightGBM分布式训练调用lgb.train接口出现卡死问题的排查与解决

结论 #

该现象属于预期行为，不是LightGBM的bug。

原因解释 #

• LightGBM原生分布式训练流程中，lgb.Dataset的construct操作默认由lgb.train()内部触发，该过程内置了跨worker节点的同步逻辑，会自动对齐所有节点的特征分桶规则、数据集元数据，保证后续reducescatter、allreduce等通信操作的收发数据块大小完全匹配。
• 手动提前调用ds.construct()时，各worker会独立完成本地数据集的分桶、元数据计算，跳过了lgb.train()内置的分布式同步对齐逻辑，就会出现跨节点数据集元数据不一致的问题，最终导致DataParallelTreeLearner::FindBestSplits阶段reducescatter操作因数据块大小不匹配卡住。
• scikit-learn风格的fit接口可正常运行，是因为该接口在训练前会主动执行额外的全局Allreduce同步步骤，刚好对齐了手动construct产生的元数据差异。
• 尝试forcedbins_filename未解决问题，是因为该参数仅在construct执行阶段生效，若手动调用construct时未传入该参数，后续再配置不会改变已生成的分桶规则。

使用建议 #

分布式训练场景下，请勿手动调用lgb.Dataset的construct()方法，数据集构造过程交给训练接口内部自动触发即可。若确实有提前构造的需求，必须保证所有worker使用完全一致的分桶配置，且构造完成后主动执行全局同步操作对齐所有节点的数据集元数据。

内容的提问来源于stack exchange，提问作者Denisevi4