PyTorch中读取多图像构建自定义数据集，求解卷积模糊核参数

我来帮你梳理下这个卷积核反推的问题，以及如何完善现有代码~

核心思路 #

首先明确问题本质：我们有成对的清晰图像（main_image）和模糊图像（blur_image），且所有模糊效果都来自同一个未知卷积核的卷积操作。我们的目标是通过这些图像对，反向求解这个卷积核的参数。

这本质是一个逆卷积/盲反卷积问题，但因为已知所有模糊都来自同一核，我们可以把它转化为一个优化问题：定义一个可学习的卷积核，让它对清晰图像卷积后的结果尽可能接近对应的模糊图像，通过反向传播更新核参数。

现有代码的补全方向 #

假设现有代码已经实现了基础的数据读取和模型框架，我们需要补充以下关键部分：

1. 批量读取图像对 #

确保能同时加载多组（比如5组）清晰-模糊图像对，注意保持数据的对应关系：

import os
import cv2
import numpy as np

def load_image_pairs(main_dir, blur_dir, num_pairs=5):
    main_paths = sorted([os.path.join(main_dir, f) for f in os.listdir(main_dir)[:num_pairs]])
    blur_paths = sorted([os.path.join(blur_dir, f) for f in os.listdir(blur_dir)[:num_pairs]])
    
    main_images = []
    blur_images = []
    for m_path, b_path in zip(main_paths, blur_paths):
        # 读取并归一化图像（假设是单通道灰度图，若彩色需调整）
        main_img = cv2.imread(m_path, cv2.IMREAD_GRAYSCALE) / 255.0
        blur_img = cv2.imread(b_path, cv2.IMREAD_GRAYSCALE) / 255.0
        # 添加batch和channel维度，适配PyTorch/TensorFlow输入
        main_images.append(main_img[np.newaxis, np.newaxis, ...])
        blur_images.append(blur_img[np.newaxis, np.newaxis, ...])
    
    return np.concatenate(main_images), np.concatenate(blur_images)

2. 定义可学习的卷积核模型 #

以PyTorch为例，我们需要创建一个仅包含可学习卷积核的模型，注意卷积操作要和生成模糊图像时的padding、stride保持一致：

import torch
import torch.nn as nn
import torch.optim as optim

class KernelEstimator(nn.Module):
    def __init__(self, kernel_size=3):
        super().__init__()
        # 定义可学习的卷积核：假设是单通道输入输出，核大小可调整
        self.kernel = nn.Parameter(torch.randn(1, 1, kernel_size, kernel_size))
        # 初始化核参数（比如用高斯分布初始化，符合常见模糊核特性）
        nn.init.normal_(self.kernel, mean=0, std=0.1)
    
    def forward(self, x):
        # 卷积时使用same padding，保证输入输出尺寸一致
        padding = self.kernel.size(-1) // 2
        return nn.functional.conv2d(x, self.kernel, padding=padding)

3. 构建训练循环，利用多图像对优化核参数 #

用所有图像对的损失来更新核，这样能让核更鲁棒：

# 加载数据
main_imgs, blur_imgs = load_image_pairs("main_image", "blur_image", num_pairs=5)
# 转为张量
main_tensor = torch.tensor(main_imgs, dtype=torch.float32)
blur_tensor = torch.tensor(blur_imgs, dtype=torch.float32)

# 初始化模型和优化器
model = KernelEstimator(kernel_size=5)  # 根据模糊程度调整核大小
optimizer = optim.Adam(model.parameters(), lr=1e-3)
loss_fn = nn.MSELoss()

# 训练循环
num_epochs = 1000
for epoch in range(num_epochs):
    optimizer.zero_grad()
    # 用当前核生成模糊图像
    pred_blur = model(main_tensor)
    # 计算所有图像对的总损失
    loss = loss_fn(pred_blur, blur_tensor)
    # 反向传播更新核
    loss.backward()
    optimizer.step()
    
    if (epoch + 1) % 100 == 0:
        print(f"Epoch {epoch+1}, Loss: {loss.item():.6f}")

# 提取训练好的核
trained_kernel = model.kernel.detach().squeeze().numpy()
print("训练得到的卷积核：")
print(trained_kernel)

关键注意事项 #

• 图像预处理：确保所有图像尺寸一致，若有差异需先resize；同时归一化到[0,1]或[-1,1]范围，避免数值不稳定。
• 核大小选择：根据模糊程度预估核的尺寸，比如轻微模糊用3x3，严重模糊用7x7等，也可以把核大小作为超参数尝试。
• 边界处理：生成模糊图像时的padding方式要和训练时一致，否则会导致边缘误差，建议使用same padding。
• 正则化：如果训练出现过拟合，可以给核参数添加L2正则化，或者约束核的元素和为1（因为模糊核通常是归一化的）。

内容的提问来源于stack exchange，提问作者user5739619