如何为预训练Caffe模型添加预处理层实现RGB输入转灰度适配

Caffe 原生即可实现该需求，不需要自定义任何新层，仅需调整.prototxt结构、给新增层补充固定权重即可，原有训练好的权重主体完全不需要改动。

三通道RGB转单通道灰度的本质是对三个输入通道做固定系数的加权求和，用Caffe内置的1x1卷积层就能实现：设置卷积层输入通道为3、输出通道为1、卷积核大小1x1，把卷积核权重固定为灰度转换的系数，不需要参与训练，输出结果就是符合原模型要求的单通道灰度图。

• 第一步：调整输入层配置
  打开你持有的.prototxt文件，找到最开头的输入层定义，把输入通道维度从1改为3，匹配工具的三通道输入要求。比如原输入层配置为：

  layer {
    name: "data"
    type: "Input"
    top: "data"
    input_param { shape: { dim: 1 dim: 1 dim: 224 dim: 224 } }
  }
  

  仅需把通道对应的dim: 1修改为dim: 3即可，batch数、图像高宽的数值保持和原模型要求一致。
• 第二步：插入RGB转灰度的卷积层
  在输入层之后、原网络第一个计算层之前，插入如下1x1卷积层配置：

  layer {
    name: "rgb2gray"
    type: "Convolution"
    bottom: "data"
    top: "gray_input"
    param {
      lr_mult: 0
      decay_mult: 0
    }
    convolution_param {
      num_output: 1
      kernel_size: 1
      pad: 0
      stride: 1
      bias_term: false
      weight_filler { type: "constant" value: 0 }
    }
  }
  

  这里把lr_mult和decay_mult都设为0，是为了保证该层权重永远固定，不会被任何训练/微调流程改动。
• 第三步：衔接原网络
  找到原网络中第一个接输入data的层，把它的bottom值从原来的data改成上面卷积层的输出名gray_input，后续所有层的配置不需要做任何改动，避免和原权重不匹配。
• 第四步：生成适配后的权重文件
  用一段简短的Python脚本给新增的卷积层填入固定的灰度转换权重，保存为新的权重文件即可，参考代码：

  import caffe
  import numpy as np
  # 加载修改后的结构文件和原预训练权重
  net = caffe.Net("modified_model.prototxt", "original_pretrained.weights", caffe.TEST)
  # 填入灰度转换系数：标准灰度公式为 Gray = 0.299*R + 0.587*G + 0.114*B
  # 如果你模型训练时用了其他转换规则（比如三通道平均、单取某通道），替换下面的数组值即可
  net.params["rgb2gray"][0].data[...] = np.array([0.299, 0.587, 0.114]).reshape(1, 3, 1, 1)
  # 保存适配完成的新模型
  net.save("rgb_input_compatible.caffemodel")
  

• 不要修改原网络后续任何层的名称、参数配置，否则会出现权重加载错位、精度丢失的问题。
• 如果你的工具自带固定的RGB通道顺序（比如是BGR顺序），只需要调整卷积核三个权重的排列顺序对应即可，不需要改其他逻辑。
• 该方法新增的层计算量极小，几乎不会带来额外的推理延迟。

内容的提问来源于stack exchange，提问作者subspring