使用Dlib(19.4)在C++中实现CNN时的卷积可视化图像提取问题

我来帮你搞定这个问题——你碰到的类型错误，核心原因是net(img)返回的是dlib::tensor类型，而不是你期望的array2d<rgb_pixel>。Dlib的卷积层不会直接输出可显示的图像格式，需要我们手动把tensor里的数值转换为图像数组。

下面是具体的修正方案和代码示例：

1. 先获取卷积输出的tensor #

首先执行前向传播拿到tensor结果：

auto output_tensor = net(img);

2. 将tensor转换为浮点型图像数组 #

卷积输出的tensor是多维度的（Dlib 19.4里维度顺序一般是[batch, channels, rows, cols]，这里你的输入是单张图，所以batch索引为0）。如果要可视化单个通道，比如第一个输出通道，可以这样做：

// 创建浮点型数组来存通道数据
array2d<float> temp_out;
temp_out.set_size(output_tensor.nr(), output_tensor.nc());

// 遍历tensor，把对应通道的数据复制到数组里
for (long r = 0; r < temp_out.nr(); ++r)
{
    for (long c = 0; c < temp_out.nc(); ++c)
    {
        // 取batch=0、channel=0的位置数据
        temp_out[r][c] = output_tensor(0, 0, r, c);
    }
}

3. 归一化并转换为RGB图像 #

tensor里的数值通常不在0-255的图像像素范围内，必须先归一化，再转成rgb_pixel类型：

// 自动归一化到0-255区间
normalize_image(temp_out);

// 把浮点型数组转为RGB图像
array2d<rgb_pixel> out_img;
assign_image(out_img, temp_out);

4. 正常显示图像 #

这一步就和你原来的代码一样了：

image_window my_window(out_img, "Convolved Image");
my_window.wait_until_closed();

扩展：可视化多通道输出 #

如果你的卷积层有多个输出通道（比如你定义的con<3,5,5,5,5,...>里的第一个参数是3，代表3个输出滤波器），可以把它们合并成彩色图像，或者分别显示每个通道。比如合并3通道的示例：

// 先找到tensor里的全局最大最小值，用于归一化
float min_val = output_tensor.min();
float max_val = output_tensor.max();

array2d<rgb_pixel> out_img(output_tensor.nr(), output_tensor.nc());
for (long r = 0; r < out_img.nr(); ++r)
{
    for (long c = 0; c < out_img.nc(); ++c)
    {
        // 分别取三个通道的值，归一化到0-255
        float r_val = std::clamp((output_tensor(0, 0, r, c) - min_val)/(max_val - min_val)*255.0f, 0.0f, 255.0f);
        float g_val = std::clamp((output_tensor(0, 1, r, c) - min_val)/(max_val - min_val)*255.0f, 0.0f, 255.0f);
        float b_val = std::clamp((output_tensor(0, 2, r, c) - min_val)/(max_val - min_val)*255.0f, 0.0f, 255.0f);
        
        // 赋值给RGB像素
        out_img[r][c] = rgb_pixel((unsigned char)r_val, (unsigned char)g_val, (unsigned char)b_val);
    }
}

最后，把所有步骤整合起来的完整代码如下：

using my_net_type = con<3, 5, 5, 5, 5, input<array2d<rgb_pixel>>>;
my_net_type net;
array2d<rgb_pixel> img;
load_image(img, "my_image.bmp");

// 获取卷积输出tensor
auto output_tensor = net(img);

// 转换为单通道浮点数组
array2d<float> temp_out(output_tensor.nr(), output_tensor.nc());
for (long r = 0; r < temp_out.nr(); ++r)
{
    for (long c = 0; c < temp_out.nc(); ++c)
    {
        temp_out[r][c] = output_tensor(0, 0, r, c);
    }
}

// 归一化并转为RGB图像
normalize_image(temp_out);
array2d<rgb_pixel> out_img;
assign_image(out_img, temp_out);

// 显示图像
image_window my_window(out_img, "Convolved Image");
my_window.wait_until_closed();

需要注意的是，Dlib 19.4的tensor接口和新版本可能略有差异，如果你发现维度访问不对，可以打印output_tensor.num_dimensions()和各维度的大小来确认顺序。

内容的提问来源于stack exchange，提问作者Sreeragh A R