RNN回归模型中batch-size与timestep的区别及取值设置问题咨询

Batch Size相关疑问 #

首先先纠正你对batch size的认知偏差：batch size越大，单步参数更新的耗时会更长，但单轮全量训练（Epoch）需要的更新次数会更少，整体收敛的总耗时不一定会变长，具体取决于你的数据规模、硬件配置
针对你的两个问题直接给出结论：

• 只要训练耗时、显存/内存占用都在可接受范围内，理论上可以使用最大batch size，但不建议这么做：全训练集大小的batch size对应的是批量梯度下降（BGD），这类训练方式很容易陷入局部最优，模型的泛化能力普遍比32/64/128这类常规小批量要差，尤其你的数据是时序类数据，本身存在分布波动，用适中的小批量效果会更好。
• batch size的最大值不是测试数据集的大小，上限由两个因素决定：训练数据集的总样本量、你的硬件显存/内存能承载的单批样本最大值，和测试集没有任何关联。

Timestep设置方法 #

RNN中的timestep定义是：单条训练样本输入到模型时，用到的历史时序数据的长度，和你总采集时长没有直接关联，完全由你任务的逻辑依赖决定
针对你每分钟采集1次温度、总采集30小时的场景，可按以下思路设置：

• 首先明确你的回归目标：比如你要预测未来15分钟的温度，那你可以先尝试用过去30分钟（对应30个timestep，因为1分钟采集1个点）、过去1小时（对应60个timestep）的历史数据作为输入，看哪个效果更好。
• 如果你不确定应该取多长的历史窗口，可以先对温度序列做自相关分析，取自相关系数高于0.6的最大时间跨度对应的采样点数，就是合理的timestep区间。
• 总采集30小时对应1800个采样点，只要你设置的timestep小于1800，都可以构造出足够的训练样本，不需要担心数据量不足的问题，常规温度预测类任务timestep设置在24~168区间都很常见。

内容的提问来源于stack exchange，提问作者Aman Agarwal