自定义DataGenerator训练MesoNet出现shuffle buffer填充提示如何解决

问题根因 #

你看到的Filling up shuffle buffer (this may take a while)是TensorFlow的tf.data模块在填充随机打乱缓冲区的提示，你的数据集总共有60万张图片，如果你设置的缓冲区大小等于全量数据集长度，或者重复做了多次打乱操作，就会出现这个耗时很长的提示。

具体解决步骤 #

• 去掉重复的shuffle操作
  你自定义的keras.utils.Sequence子类已经在on_epoch_end方法中实现了索引级别的随机打乱，完全可以满足训练时的数据打乱需求。两种常见的重复操作场景对应处理方法：
  1. 如果后续把这个生成器转换成tf.data.Dataset格式后加了shuffle()调用，直接删掉该调用即可。
  2. 如果是直接把DataGenerator传入model.fit，要在fit参数中加shuffle=False，因为fit的shuffle参数默认开启，仅针对原生Tensor输入生效，对Sequence输入开启会触发额外的打乱逻辑。
• 调小shuffle缓冲区大小（如果必须使用tf.data的shuffle）
  如果你确实需要用到tf.data.Dataset的shuffle方法，不需要把缓冲区大小buffer_size设为全量数据集长度，设置为1024或2048（约32~64个batch的大小）就可以保证足够的打乱随机性，同时大幅降低缓冲区填充耗时。
• 优化DataGenerator代码性能，降低数据加载耗时
  你当前的DataGenerator存在的问题会进一步拉长你感知到的卡顿时长，对应优化点：
  1. 修复resize逻辑的bug：原代码中cv2.resize加了if img.shape != self.img_size的判断，会导致尺寸符合要求的图片被过滤，最终输出的batch长度和设定的batch_size不一致，去掉if判断，所有图片统一做resize即可。
  2. 删掉无用的缓存逻辑：代码中self.batch_labels.extend(labels)和self.batch_names.extend(...)会持续累积每个batch的标签和文件名，占用额外内存，训练阶段不需要这两个变量的话直接删除即可。
  3. 替换单线程的opencv操作：可以改用TensorFlow内置的tf.io.read_file、tf.image.resize等接口做图像加载和预处理，支持多线程并行，加载速度会明显提升。
• 验证集、测试集关闭shuffle
  验证和测试阶段不需要打乱数据，初始化这两个数据集对应的DataGenerator时，直接把shuffle参数设为False，省去这部分的shuffle开销。

内容的提问来源于stack exchange，提问作者mohammadkh