Keras中TimeDistributed未对CNN模型屏蔽的问题咨询

针对你这个结合InceptionV3、LSTM和Masking层处理图像序列的需求，我整理了完整的实现方案和关键细节解释，直接就能用：

import numpy as np
from keras import backend as K
from keras.models import Sequential, Model
from keras.layers import Input, GlobalAveragePooling2D, Masking, LSTM, Dense, TimeDistributed
from keras.applications.inception_v3 import InceptionV3

# 1. 构建InceptionV3特征提取子模型（移除顶层分类层）
inception_base = InceptionV3(weights='imagenet', include_top=False, input_shape=(299,299,3))
# 用全局平均池化把卷积输出压缩成固定长度的特征向量
feature_extractor = Model(
    inputs=inception_base.input, 
    outputs=GlobalAveragePooling2D()(inception_base.output)
)

# 2. 搭建完整的序列处理模型
# 输入支持任意长度的图像序列，示例中你的输入长度是2
input_seq = Input(shape=(None, 299, 299, 3))

# 对序列中的每张图像单独提取特征（TimeDistributed是核心）
seq_features = TimeDistributed(feature_extractor)(input_seq)

# 用Masking层跳过空白图像：假设空白图像的特征向量全为0
masked_features = Masking(mask_value=0.0)(seq_features)

# 用LSTM处理过滤后的特征序列
lstm_out = LSTM(units=128, return_sequences=False)(masked_features)

# 最后添加任务专属的输出层（这里以10分类为例，可按需修改）
output = Dense(units=10, activation='softmax')(lstm_out)

model = Model(inputs=input_seq, outputs=output)
model.summary()

# 3. 模拟测试：包含空白图像的输入
# 批量大小为1，序列长度为2，第二张设为全0的空白图像
sample_input = np.random.rand(1, 2, 299, 299, 3)
sample_input[0, 1] = 0.0  # 标记第二张为空白

# 验证模型输出
pred = model.predict(sample_input)
print(f"模型输出形状：{pred.shape}")

• TimeDistributed层的必要性：你的输入是图像序列（形状为(序列长度,299,299,3)），需要对序列里的每一张图单独应用InceptionV3。TimeDistributed可以把特征提取模型“广播”到序列的每个时间步，最终输出(序列长度,2048)的特征序列，刚好适配LSTM的输入要求。
• Masking层的工作逻辑：我们默认空白图像是像素全为0的图，这类图像经过InceptionV3和全局平均池化后，输出的特征向量也会是全0。Masking层会自动忽略特征向量为0的时间步，LSTM在计算时不会把这些空白图像的信息纳入序列建模。
• 预训练模型的使用建议：如果你的任务是自定义数据集，建议先冻结InceptionV3的权重，只训练LSTM和输出层；等模型收敛后，再根据需求微调卷积层的部分权重，这样能更快取得好效果。
• 输入灵活性：输入层定义为(None,299,299,3)，意味着模型可以处理任意长度的图像序列，不局限于你示例中的2张图。

内容的提问来源于stack exchange，提问作者Alex R.