TFX Tuner组件能否实现batch size超参数的动态调优？

你在当前技术栈下完全可以实现batch size的动态搜索调优，这和你参考的Penguin示例里其他超参的调优逻辑没有本质差异，不需要对Tuner组件做定制化开发。

你参考的官方示例里batch size之所以是固定值，只是示例代码没有把它纳入搜索范围而已，不是Tuner组件本身不支持。改造只需要调整两处和超参定义、训练流程相关的代码：

• 把batch size加入搜索空间：在原本返回超参数搜索空间的_get_hyperparameters函数里，参照其他超参的定义格式，增加batch size的范围定义。比如可以用hp.Int('batch_size', min_value=32, max_value=512, step=32)定义等步长的整数搜索区间，也可以用hp.Choice('batch_size', values=[64, 128, 256])枚举常用的固定取值。
• 替换训练流程里的硬编码值：找到tuner_fn中原本写死batch size的位置，把固定数值替换为从当前轮试验的超参数实例中读取采样值。比如原来硬编码执行dataset = dataset.batch(32)的逻辑，改成先通过current_batch_size = hparams.get('batch_size')读取当前值，再把读取到的参数传入dataset的batch方法即可。

因为你是在搭载Kubeflow引擎的Google AI平台上运行pipeline，改造时需要注意几个和运行环境相关的点：

• 不需要修改Tuner组件本身的初始化配置：不管你用的是KerasTuner还是TFX官方封装的Tuner组件，只要搜索空间定义、训练函数里引用的batch size参数名完全一致，组件会自动把每轮试验的采样值透传到对应训练流程，最终寻优得到的最优batch size，也会和其他最优超参一起自动传给后续的Trainer组件，不需要额外开发参数透传逻辑。
• 搜索范围要匹配集群资源配额：Kubeflow上每个调优试验任务拿到的计算资源是固定的，要根据分配到的CPU/GPU/内存容量划定batch size的搜索上限，避免设置的batch size过大触发任务OOM失败。
• 注意不要提前固化批处理逻辑：要确保batch size的读取、数据集批处理操作，是在当前轮试验的超参数加载完成之后再执行，不要把batch size的配置写在全局数据预处理流程里，否则会出现超参采样值没有实际生效的问题。

内容的提问来源于stack exchange，提问作者JimZer