如何使用Keras预处理层对视频所有帧统一应用视频增强？

问题根源 #

你传入固定seed后仍出现单视频帧增强不一致，是因为TensorFlow的随机预处理层默认会对每个输入帧（视为独立样本）生成不同的随机变换——即使seed相同，层内部会维护随机状态计数器，每次调用都会更新，导致同一视频的不同帧得到不同结果。

三种可行解决方法 #

方法1：全局固定随机种子（适合测试场景） #

通过全局设置随机种子，让同一seed下的所有增强操作完全一致，但缺点是所有用相同seed的视频会得到完全相同的增强结果：

import tensorflow as tf
from tensorflow.keras.layers import CenterCrop, Resizing, Rescaling, RandomContrast, RandomTranslation, RandomFlip, RandomRotation

def data_augment(frames, seed):
    tf.keras.backend.set_random_seed(seed)
    x = CenterCrop(height=1000, width=1200)(frames)
    x = Resizing(width=128, height=128)(x)
    x = Rescaling(1./255)(x)
    x = RandomContrast((0.2,0.2), seed=seed)(x)
    x = RandomTranslation(height_factor=0.15, width_factor=0.2, fill_mode="constant", fill_value=0.0, seed=seed)(x)
    x = RandomFlip("horizontal", seed=seed)(x)
    x = RandomRotation(factor=0.01, fill_mode="constant", seed=seed)(x)
    return x

方法2：手动生成固定变换参数（推荐，灵活性高） #

基于seed生成专属的固定变换参数，然后对整个视频的所有帧批量应用，保证同一视频帧变换一致，不同视频可通过不同seed生成不同变换：

import tensorflow as tf
from tensorflow.keras.layers import CenterCrop, Resizing, Rescaling

def data_augment(frames, seed):
    # 基础非随机预处理
    x = CenterCrop(height=1000, width=1200)(frames)
    x = Resizing(width=128, height=128)(x)
    x = Rescaling(1./255)(x)
    
    # 基于seed创建固定随机生成器
    rng = tf.random.Generator.from_seed(seed)
    
    # 应用固定对比度调整
    x = tf.image.adjust_contrast(x, contrast_factor=0.2)
    
    # 生成固定平移偏移量并应用
    height_shift = rng.uniform(shape=[], minval=-0.15, maxval=0.15)
    width_shift = rng.uniform(shape=[], minval=-0.2, maxval=0.2)
    x = tf.keras.layers.experimental.preprocessing.translate(
        x, 
        [height_shift * x.shape[1], width_shift * x.shape[2]], 
        fill_mode="constant", 
        fill_value=0.0
    )
    
    # 生成固定翻转标志并应用
    flip_flag = rng.uniform(shape=[], minval=0, maxval=2, dtype=tf.int32) == 1
    if flip_flag:
        x = tf.image.flip_left_right(x)
    
    # 生成固定旋转角度并应用（factor=0.01对应±3.6°）
    rotation_angle = rng.uniform(shape=[], minval=-0.01*2*tf.math.pi, maxval=0.01*2*tf.math.pi)
    x = tf.keras.layers.experimental.preprocessing.rotate(
        x, 
        rotation_angle, 
        fill_mode="constant"
    )
    
    return x

方法3：使用batchwise参数（TensorFlow 2.10+） #

TensorFlow 2.10及以上版本的随机预处理层支持batchwise=True参数，设置后会对整个批次（即单个视频的所有帧）应用相同的随机变换：

import tensorflow as tf
from tensorflow.keras.layers import CenterCrop, Resizing, Rescaling, RandomContrast, RandomTranslation, RandomFlip, RandomRotation

def data_augment(frames, seed):
    x = CenterCrop(height=1000, width=1200)(frames)
    x = Resizing(width=128, height=128)(x)
    x = Rescaling(1./255)(x)
    # 关键：设置batchwise=True，让整个视频帧共享同一变换
    x = RandomContrast((0.2,0.2), seed=seed, batchwise=True)(x)
    x = RandomTranslation(height_factor=0.15, width_factor=0.2, fill_mode="constant", fill_value=0.0, seed=seed, batchwise=True)(x)
    x = RandomFlip("horizontal", seed=seed, batchwise=True)(x)
    x = RandomRotation(factor=0.01, fill_mode="constant", seed=seed, batchwise=True)(x)
    return x

注意：输入frames的形状需为(num_frames, H, W, C)，此时层会将所有帧视为一个批次处理。

内容的提问来源于stack exchange，提问作者hedge