Drive&Act视频帧CNN小批量训练：内存优化与高效方法咨询

问题背景与参数 #

我正在使用从19个Drive&Act视频中提取的帧训练CNN模型。为避免内存溢出，目前仅使用包含所有类别的单个视频拟合模型，但无法加入更多视频。相关参数如下：

• 视频分辨率为(424, 512)@30fps；
• 经OpenCV2提取的帧形状为(424,512,3)，已Resize至(256,256,3)，dtype=uint8，单帧大小约0.196MB；
• 单视频时长约20分钟，文件大小小于100MB；
• 单视频帧数量为20×60×30=36000帧；
• 单帧序列内存占用约7GB。

核心问题 #

1. 是否有方法缩减帧序列的内存占用？
2. 采用小批量技术处理该量级数据的最高效方式是什么？
3. 已使用Python生成器输入Keras的model.fit方法以降低内存消耗，但存在初始批次类别单一导致模型过拟合的问题，是否可先采用较大数据集子集训练，再进行小批量训练？

问题解答 #

1. 缩减帧序列内存占用的方法 #

• 降低数据精度：将uint8格式转换为float16（若模型支持），单帧内存占用直接减半；若任务无需浮点精度，可保留uint8并在预处理时直接做归一化操作，避免额外内存开销。如果任务对颜色信息要求不高，可将3通道RGB转为单通道灰度图，内存占用降至原有的1/3。
• 按需加载，避免预加载全序列：不要一次性把所有帧读入内存，改用生成器或tf.data.Dataset从磁盘按需读取，仅加载当前训练批次所需的帧。
• 帧采样降频：若任务对时间连续性要求较低，可降低采样频率（比如从30fps降至15fps），直接减少帧数量，内存占用同步降低。
• 压缩存储与读取：将帧序列存储为HDF5、TFRecord等压缩格式文件，读取时按需解压，既节省磁盘空间，又能避免一次性加载全量数据到内存。

2. 小批量处理的高效方式 #

• 替换为TensorFlow原生tf.data.Dataset：相比Python生成器，tf.data.Dataset支持多线程预取、并行加载，能绕过GIL限制，效率更高。可通过tf.data.Dataset.from_generator将现有生成器转换为Dataset，或直接用TensorFlow API解码视频文件，省去提前提取帧的步骤。
• 启用预取与并行处理：添加prefetch(tf.data.AUTOTUNE)让数据集在模型训练的同时预取下一批数据，减少等待时间；设置num_parallel_calls=tf.data.AUTOTUNE启用多线程并行加载和预处理，提升数据准备速度。
• 合理设置缓存：若内存允许，可将常用的小数据集子集用cache()缓存到内存，但不要缓存全量数据；对于全量数据，可使用磁盘缓存（cache(filename)）减少重复读取的开销。
• 适配硬件的批次大小：根据GPU/CPU内存容量确定最大可行批次大小（比如16、32帧/批），固定批次大小训练更稳定；若内存波动大，可使用tf.data.experimental.dense_to_ragged_batch实现动态批次调整。

3. 解决初始批次类别单一的过拟合问题 #

• 先训均衡子集再全量小批量训练是可行的：从多个视频中抽取类别分布均衡的较大子集（比如每个视频抽取数千帧，保证每类样本都有覆盖），先预训练3-5轮让模型学到通用特征，再切换到全量数据的小批量训练，能有效避免初始类别单一导致的过拟合。
• 优化生成器的采样逻辑：直接修改生成器，让每个批次的类别分布尽量均衡。比如提前将所有帧按类别分组，每次采样时从每个类别抽取固定数量的帧组成批次；或者预先打乱所有帧的索引列表，按打乱后的顺序生成批次，避免连续取到同一类别的帧。
• 设置类别权重：在model.fit中传入class_weight参数，给样本数量少的类别分配更高的权重，即使批次类别不均，模型也不会过度偏向多数类别。
• 加入数据增强：在预处理阶段添加随机翻转、裁剪、亮度/对比度调整等数据增强操作，增加数据多样性，既缓解过拟合，也能弱化类别单一带来的影响。

内容的提问来源于stack exchange，提问作者Stefano Giannini