能否在Google ML Engine中实现单Worker独立处理Trial的并行超参数调优？

你提到的需求——让每个ML Engine Worker独立处理一个超参数调优Trial，而非用多个Worker协作完成单个Trial的分布式训练——是完全可行的，只是需要调整配置逻辑，先理清两个关键参数的作用：

• workerCount：这个参数控制单个Trial会使用的Worker数量。如果你把它设为大于1的值，ML Engine默认会认为你要对每个Trial做分布式训练，所以每个Trial会占用所有指定的Worker，这就是你之前遇到“每个Trial被分发至所有Worker”的原因。
• maxParallelTrials：这个参数控制同时运行的Trial总数，但它的实际生效会受workerCount和你可用的Worker资源限制。

正确配置方式 #

要实现每个Worker独立处理一个Trial，你需要：

1. 将workerCount设置为1——这样每个Trial只会占用1个Worker资源，确保单个Trial是单机运行的。
2. 根据你可用的Worker数量，设置maxParallelTrials为你想要同时并行的Trial数。比如你有4个Worker资源，就把maxParallelTrials设为4，这样4个Worker会各自处理一个独立的Trial，完美实现你要的并行超参数调优模式。

注意事项 #

• 确保你的训练脚本是单机训练脚本，不需要支持分布式训练逻辑。如果脚本本身没做分布式适配，设置workerCount>1会导致训练失败，因为ML Engine会尝试注入分布式训练的相关配置，但你的脚本无法处理。
• 资源配额方面，maxParallelTrials不能超过你在ML Engine中拥有的Worker资源配额，否则会出现资源不足的报错。

内容的提问来源于stack exchange，提问作者LearnOPhile