基于Caffe复现Deep EXpectation：图像年龄回归损失层设计咨询

我看你正在用Caffe复现《Deep EXpectation》的年龄预测模型，核心需求是最后一层输出100个年龄概率，通过加权求和得到预测年龄，再用欧氏损失拟合真实年龄和预测值。我来帮你补全并优化prototxt配置，分两种实用方案给你参考：

方案1：用固定权重的全连接层实现加权求和（无需自定义层） #

这个方案不用写额外代码，直接用Caffe原生层就能实现核心逻辑：

# 全连接层：输出0-99岁的概率logit（未经过softmax）
layer {
  bottom: "pool5"
  top: "fc100"
  name: "fc100"
  type: "InnerProduct"
  inner_product_param {
    num_output: 100
    weight_filler {
      type: "xavier"  # 用xavier初始化加速收敛
    }
    bias_filler {
      type: "constant"
      value: 0.0
    }
  }
}

# Softmax层：将logit转为0-99岁的概率分布
layer {
  bottom: "fc100"
  top: "prob"
  name: "prob"
  type: "Softmax"
}

# 计算预测年龄：对概率按年龄索引加权求和（权重固定为0到99）
layer {
  bottom: "prob"
  top: "predicted_age"
  name: "compute_predicted_age"
  type: "InnerProduct"
  inner_product_param {
    num_output: 1
    weight_filler {
      type: "constant"
      # 权重数组对应0到99岁的索引，直接写死数值
      value: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99
    }
    bias_filler {
      type: "constant"
      value: 0.0
    }
    # 固定权重，不参与训练更新
    lr_mult: 0
    decay_mult: 0
  }
}

# 欧氏损失层：拟合真实年龄与预测年龄的误差
layer {
  bottom: "predicted_age"
  bottom: "label"
  top: "loss"
  name: "euclidean_loss"
  type: "EuclideanLoss"
}

关键说明： #

• 标签格式：这里的label必须是单值的真实年龄（比如25或25.0），不是100维的one-hot向量，因为欧氏损失是回归损失，对比的是数值差异。
• 固定权重层：compute_predicted_age层的权重被固定为0到99，设置lr_mult:0和decay_mult:0确保训练时不会修改这些权重，完美实现论文中的加权求和逻辑。
• 训练/测试兼容：训练时自动计算损失，测试时可以直接输出predicted_age作为最终预测结果，也可以输出prob查看各年龄的概率分布。

方案2：用Python自定义层实现加权求和（更灵活） #

如果你需要更灵活的逻辑调整，可以用Caffe的Python层实现加权求和，代码更直观：

首先写自定义层的Python代码（保存为age_layers.py）：

import caffe
import numpy as np

class ComputePredictedAgeLayer(caffe.Layer):
    def setup(self, bottom, top):
        # 验证输入输出维度
        assert len(bottom) == 1 and bottom[0].data.shape[1] == 100
        assert len(top) == 1

    def reshape(self, bottom, top):
        # 输出维度和输入样本数一致，每个样本对应一个预测年龄
        top[0].reshape(bottom[0].num, 1)

    def forward(self, bottom, top):
        # 生成0-99的年龄权重数组
        age_weights = np.arange(100, dtype=np.float32)
        # 计算每个样本的概率加权和
        top[0].data[...] = np.dot(bottom[0].data, age_weights)

    def backward(self, top, propagate_down, bottom):
        # 自定义层不参与训练，反向传播梯度设为0
        if propagate_down[0]:
            bottom[0].diff[...] = 0.0

然后在prototxt中替换compute_predicted_age层：

layer {
  bottom: "prob"
  top: "predicted_age"
  name: "compute_predicted_age"
  type: "Python"
  python_param {
    module: "age_layers"  # 刚才保存的Python模块名
    layer: "ComputePredictedAgeLayer"
  }
}

方案2优势： #

后续如果要调整加权逻辑（比如针对特定年龄段调整权重），直接修改Python代码即可，不需要重新配置全连接层的权重数组。

两种方案都完全符合《Deep EXpectation》的论文逻辑，你可以根据自己的开发环境选择合适的配置。

内容的提问来源于stack exchange，提问作者ilkyu tony lee