Ray Tune中param_space与PBT调度器hyperparam_mutations的交互疑问

1. 两个超参数空间的交互关系 #

• param_space（或代码中hp_space返回的配置）是初始参数空间：负责生成第一轮所有trial的初始超参数值。如果配置中是固定值，所有初始trial会用同一套参数；如果是tune定义的搜索空间（如tune.uniform），则会从中采样生成不同初始参数的trial。
• hyperparam_mutations是PBT专属的运行时扰动空间：仅在PBT调度过程中生效。当训练到指定的perturbation_interval时，PBT会筛选表现优异的trial，从该空间中随机采样新的参数值替换原参数，让trial继续训练；同时也会将这些优化后的参数赋值给表现较差的trial，实现“优胜劣汰”的参数迁移。
• 两者的关联：hyperparam_mutations中定义的参数必须是训练代码可接收的参数（无需提前在param_space中定义，但如果param_space已有该参数，PBT会在其基础上进行扰动）。初始trial的参数来自param_space，后续的参数变化完全由hyperparam_mutations的规则控制。

2. 仅扰动learning_rate的配置选择 #

分两种场景决定配置位置：

• 若要做静态超参数搜索：比如一次性测试多个固定learning_rate的效果，直接将learning_rate定义在param_space中，例如：

  tune_config = {
      "learning_rate": tune.uniform(1e-6, 1e-3),
      # 其他固定参数...
  }
  

  此时所有初始trial会采样不同的lr，各自独立训练到结束，你可以直接对比不同lr对应的最终准确率。
• 若要做PBT动态自适应扰动：想观察训练过程中调整lr对模型表现的影响（比如让表现好的模型尝试新lr，或者让差模型复用优lr），则将learning_rate定义在hyperparam_mutations中，同时可以在param_space中给lr设置一个固定初始值（或初始搜索空间）：

  # 初始固定lr
  tune_config = {
      "learning_rate": 2e-5,
      # 其他参数...
  }
  
  scheduler = PopulationBasedTraining(
      # 其他配置...
      hyperparam_mutations={
          "learning_rate": tune.uniform(1e-6, 1e-3),
      },
  )
  

  这种方式下，PBT会在训练过程中动态修改lr，你可以观察lr变化对模型迭代过程中准确率的影响。

如果你只是单纯想对比不同lr的最终效果，用第一种静态搜索的方式更直接；如果想探索lr在训练过程中的动态调整效果，选择第二种PBT的方式。

内容的提问来源于stack exchange，提问作者Leo