CNN种子图像分类：层特征可视化与模型转PB部署技术问询

我来一步步帮你解决这些在核桃种子图像CNN训练中遇到的问题，结合你提供的Keras代码来具体说明每个问题的解决方案：

1. 每一层卷积网络提取的特征是什么？ #

你的CNN模型有3个卷积模块，特征提取是从低到高逐步抽象的过程：

• 第一层Conv2D（32个3x3滤波器）：这是最底层的特征提取，主要捕捉低层次视觉特征，比如图像的边缘、线条、简单纹理（比如核桃壳表面的细纹）、颜色梯度这些基础元素。ReLU激活会过滤掉负响应，只保留有用的特征信号。
• 第二层Conv2D（32个3x3滤波器）：基于第一层的低层次特征，会组合出更复杂的特征，比如核桃壳的局部形状（比如凸起的弧度）、纹理的组合模式，相当于把简单线条拼成了更有意义的局部结构。
• 第三层Conv2D（64个3x3滤波器）：这是更高层次的语义特征，会提取到更抽象的内容，比如完整的核桃轮廓、表面的标志性纹理区域，这些特征已经能和"核桃种子"这个实体关联起来，是后续分类的核心依据。
• 后面的Flatten和Dense层则是把这些卷积特征转换成一维向量，通过全连接层进行特征的整合与最终分类决策。

2. 如何可视化各层特征/输出？ #

当然可以用图形化方式展示这些特征，下面是基于你现有模型的实现代码，能帮你提取并绘制任意一层的特征图：

步骤1：加载训练好的模型并定义特征提取器 #

from keras.models import load_model, Model
import numpy as np
import matplotlib.pyplot as plt
from keras.preprocessing import image

# 加载你训练好的模型
model = load_model('first_try_walnut.h5')
# 可以用model.summary()查看所有层的名字和索引，方便选择目标层
model.summary()

# 选择要可视化的层，比如第一层Conv2D，可通过索引或名字指定
target_layer = model.get_layer(index=0)  # 索引0对应第一个Conv2D层
feature_extractor = Model(inputs=model.input, outputs=target_layer.output)

步骤2：预处理一张核桃种子图片 #

# 加载并预处理图片，要和训练时的尺寸、归一化规则一致
img_path = 'path/to/your/walnut_image.jpg'
img = image.load_img(img_path, target_size=(150, 150))
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)
x /= 255.0  # 和训练时的rescale参数保持一致

步骤3：提取并绘制特征图 #

# 获取特征图输出
features = feature_extractor.predict(x)

# 绘制特征图，比如展示前8个滤波器的输出
plt.figure(figsize=(16, 8))
for i in range(8):
    plt.subplot(2, 4, i+1)
    plt.imshow(features[0, :, :, i], cmap='gray')
    plt.axis('off')
plt.show()

运行这段代码后，你就能看到该层每个滤波器捕捉到的特征——比如第一层会显示各种边缘、纹理的响应图，高层则会显示更抽象的核桃结构。

3. 如何定义分类器以仅提取特定特征？ #

如果你想让分类器专注于提取某类特定特征（比如核桃的纹理或者轮廓），可以试试这些方法：

方法1：冻结低层次卷积层，只训练高层 #

如果目标是提取高层次语义特征（比如核桃轮廓），可以冻结前面的卷积层，只训练后面的全连接层，强制模型基于已有高层特征做分类：

# 冻结前两层卷积模块（Conv2D+Activation+MaxPooling）
for layer in model.layers[:4]:
    layer.trainable = False

# 重新编译模型
model.compile(loss='binary_crossentropy',
              optimizer='rmsprop',
              metrics=['accuracy'])

# 继续训练，此时模型只会调整后面的全连接层，专注于高层特征的分类

方法2：添加特征分支，专门提取特定层特征 #

你可以修改模型，在目标卷积层后添加一个输出分支，直接输出该层的特征：

from keras.models import Model
from keras.layers import GlobalAveragePooling2D

# 比如提取第二层Conv2D的特征，先通过model.summary()确认层名
target_feature_layer = model.get_layer('conv2d_2')
feature_output = target_feature_layer.output
# 添加全局平均池化压缩特征维度，方便后续使用
feature_output = GlobalAveragePooling2D()(feature_output)

# 构建新的模型，输入是原图像，输出是你想要的特定特征
feature_extractor_model = Model(inputs=model.input, outputs=feature_output)

# 之后用这个模型就能直接提取目标特征了

方法3：筛选响应高的滤波器 #

你可以通过分析滤波器对特定特征的响应，保留那些对目标特征（比如纹理）响应强的滤波器，然后重新构建卷积层，只保留这些有用的滤波器，让模型专注于提取该类特征。

4. 如何将训练好的Keras模型转换为.pb文件用于Android？ #

要把Keras模型转换成TensorFlow的Protocol Buffer（.pb）文件，有两种常用方式：

方式1：保存为SavedModel格式（推荐，兼容新版TensorFlow） #

import tensorflow as tf
from keras.models import load_model

# 加载模型
model = load_model('first_try_walnut.h5')

# 保存为SavedModel格式，这会生成包含.pb文件的文件夹
tf.saved_model.save(model, 'walnut_saved_model')

之后你可以直接把这个文件夹打包到Android项目中，用TensorFlow Lite或者TensorFlow Android API加载使用。

方式2：生成冻结的单一.pb文件（适合旧版TensorFlow） #

如果你需要单一的冻结.pb文件，可以用下面的代码：

import tensorflow as tf
from keras.models import load_model
from keras import backend as K

model = load_model('first_try_walnut.h5')

# 获取输入和输出节点名称
input_node = model.input.name.split(':')[0]
output_node = model.output.name.split(':')[0]

# 冻结图，将变量转换为常量
sess = K.get_session()
frozen_graph = tf.graph_util.convert_variables_to_constants(
    sess,
    sess.graph_def,
    [output_node]
)

# 保存冻结的.pb文件
with tf.gfile.GFile('walnut_model.pb', 'wb') as f:
    f.write(frozen_graph.SerializeToString())

生成的walnut_model.pb文件就可以直接用于Android项目的TensorFlow推理了。

内容的提问来源于stack exchange，提问作者Avinash Nera