Keras CNN中使用多张图像作为输入实现杯子缺陷分类的方案咨询

原有输入方案失效原因 #

你构造的(6, width, height, 3)格式的输入不符合标准2D CNN的输入张量维度约定，常规2D CNN期望输入维度为(batch_size, width, height, channel)，额外增加的视角维度没有被网络适配，因此无法直接训练。

目前行业内针对多视角图像分类场景有两种成熟的实现方案，可根据你的精度、开发成本要求选择： #

方案1：多分支特征融合CNN（推荐，精度最优） #

该方案属于晚融合策略，单独对每个视角的图像做特征提取后再做全局特征融合，适配性强、可解释性高，是工业界多视角分类的首选方案。
实现逻辑与代码示例：

• 用Keras函数式API定义6个独立输入层，每个输入的维度都是(width, height, 3)，对应一个视角的图像
• 每个输入对应一个特征提取分支，可复用你之前单输入模型的特征提取结构，也可以用权重共享的特征提取器减少参数量、降低过拟合风险
• 将6个分支输出的一维特征向量通过Concatenate层拼接
• 拼接后的全局特征接二分类头输出结果

from tensorflow.keras import layers, Model, Input

# 定义单个视角的特征提取器（可直接复用你之前单输入模型的卷积层结构）
def build_feature_extractor(input_shape):
    inputs = Input(shape=input_shape)
    x = layers.Conv2D(32, (3,3), activation='relu')(inputs)
    x = layers.MaxPooling2D((2,2))(x)
    x = layers.Conv2D(64, (3,3), activation='relu')(x)
    x = layers.MaxPooling2D((2,2))(x)
    x = layers.Flatten()(x)
    return Model(inputs=inputs, outputs=x)

img_shape = (width, height, 3)
# 权重共享特征提取器，也可以为每个分支单独定义不同的提取器
shared_feature_extractor = build_feature_extractor(img_shape)

# 定义6个视角的输入
input_top = Input(shape=img_shape, name="top_view")
input_bottom = Input(shape=img_shape, name="bottom_view")
input_side1 = Input(shape=img_shape, name="side1_view")
input_side2 = Input(shape=img_shape, name="side2_view")
input_side3 = Input(shape=img_shape, name="side3_view")
input_side4 = Input(shape=img_shape, name="side4_view")

# 分别提取6个视角的特征
feat_top = shared_feature_extractor(input_top)
feat_bottom = shared_feature_extractor(input_bottom)
feat_side1 = shared_feature_extractor(input_side1)
feat_side2 = shared_feature_extractor(input_side2)
feat_side3 = shared_feature_extractor(input_side3)
feat_side4 = shared_feature_extractor(input_side4)

# 拼接所有视角特征
concat_features = layers.Concatenate()([feat_top, feat_bottom, feat_side1, feat_side2, feat_side3, feat_side4])

# 二分类头
x = layers.Dense(128, activation='relu')(concat_features)
x = layers.Dropout(0.3)(x)
output = layers.Dense(1, activation='sigmoid')(x)

# 构建完整模型
model = Model(
    inputs=[input_top, input_bottom, input_side1, input_side2, input_side3, input_side4],
    outputs=output
)
model.compile(optimizer="adam", loss="binary_crossentropy", metrics=["accuracy"])

• 训练时输入为包含6个视角张量的列表，每个张量的维度为(batch_size, width, height, 3)，标签格式和你之前单输入场景完全一致。

方案2：通道维度早融合（轻量快捷，开发成本低） #

如果需要最小改动适配你已经调试好的单输入模型，可以选择把6个视角的图像在通道维度拼接，构造维度为(width, height, 18)的输入，直接适配原有2D CNN结构。
核心修改点：

# 仅需要把原有单输入模型的输入通道从3改为18
inputs = Input(shape=(width, height, 18))
# 后续网络结构和你之前单输入的结构完全一致，无需额外调整

• 训练时输入的维度为(batch_size, width, height, 18)，不需要调整模型整体框架，开发效率更高，但特征融合的灵活性和最终精度通常弱于多分支方案。

方案选择建议 #

如果对缺陷识别的精度要求高，优先选择多分支方案；如果需要快速验证思路、算力资源有限，可选择通道融合方案。

内容的提问来源于stack exchange，提问作者can_k