如何在HuggingFace Transformers中设置Ray Tune串行超参数调优

要在trainer.hyperparameter_search()中设置Ray Tune串行运行（max_concurrent_trials=1），核心是通过search_kwargs参数传递Ray Tune的配置对象，具体操作如下：

1. 导入必要模块
   确保已导入Ray Tune的TuneConfig类：

   from ray.tune import TuneConfig
   

2. 调用超参数搜索方法时配置参数
   在调用训练器的超参数搜索方法时，指定search_strategy="ray"，并在search_kwargs中传入TuneConfig实例，设置max_concurrent_trials=1：

   best_run = trainer.hyperparameter_search(
       direction="maximize",
       search_strategy="ray",
       search_kwargs={
           "tune_config": TuneConfig(max_concurrent_trials=1),
           "param_space": {
               "learning_rate": tune.loguniform(1e-6, 1e-4),
               # 此处添加你的其他超参数搜索空间
           }
       }
   )
   

关键说明 #

• search_kwargs会将内部参数传递给HuggingFace封装的RayTuner类，TuneConfig是Ray Tune控制并行执行的核心配置类。
• 设置max_concurrent_trials=1后，Ray Tune会逐个运行trial，避免多个模型同时占用GPU内存引发的OutOfMemoryError。
• 若已定义好搜索空间，只需将tune_config添加到search_kwargs中即可，无需修改原有逻辑。

内容的提问来源于stack exchange，提问作者Leo