基于KAI-4070芯片稀疏彩色图像的通道提取与插值实现问询

问题背景 #

使用搭载KAI-4070芯片的“稀疏彩色”相机，其输出图像的像素按4x4广义Bayer矩阵排列，滤镜分布如下：

G C R C
C G C R
B C G C
C B C G

需将C/R/G/B四个通道提取为独立图像，并插值恢复至2048x2048尺寸，开发环境为Python，且需每日处理300张400万像素图像，需避免低效嵌套循环。

你的重塑方法可行性分析 #

思路方向是对的，但错误出在重塑方式：直接将2048x2048数组reshape为4x4x256K的结构，无法保证第三维度的每条线对应同一滤镜像素——原图像的滤镜是按4x4块重复排列的，正确拆分应先将图像划分为512x512个4x4子块，再提取每个子块中对应滤镜位置的像素。

高效实现方案（向量化操作+批量优化） #

以下是基于NumPy/OpenCV的快速实现方案，完全避免Python循环，适合批量处理：

1. 定义滤镜掩码 #

先创建4x4滤镜模板，再通过tile扩展为与原图像尺寸一致的掩码，快速定位各通道有效像素：

import numpy as np
import cv2
from multiprocessing import Pool

# 定义4x4滤镜排列模板
filter_template = np.array([
    ['G', 'C', 'R', 'C'],
    ['C', 'G', 'C', 'R'],
    ['B', 'C', 'G', 'C'],
    ['C', 'B', 'C', 'G']
])

# 生成各通道的全尺寸掩码（2048x2048）
mask_dict = {}
for channel in ['G', 'R', 'B', 'C']:
    channel_mask = (filter_template == channel)
    mask_dict[channel] = np.tile(channel_mask, (512, 512))

2. 提取单通道稀疏图像 #

利用掩码直接提取对应通道的有效像素，其余位置用NaN填充：

def extract_single_channel(raw_img, channel):
    """从原始图像中提取指定通道的稀疏图像"""
    channel_img = np.full_like(raw_img, np.nan, dtype=np.float32)
    channel_img[mask_dict[channel]] = raw_img[mask_dict[channel]]
    return channel_img

3. 快速插值填充 #

优先使用OpenCV的inpaint函数（底层C++实现，速度极快），适合批量处理；若需更高精度，可选用SciPy的立方插值：

def interpolate_channel(channel_img):
    """用OpenCV修复填充稀疏通道图像"""
    img_clean = np.nan_to_num(channel_img, nan=0).astype(np.uint8)
    repair_mask = (~np.isnan(channel_img)).astype(np.uint8) * 255
    # 使用TELEA算法插值，速度快且效果稳定
    return cv2.inpaint(img_clean, repair_mask, inpaintRadius=3, flags=cv2.INPAINT_TELEA)

4. 单张图像完整处理流程 #

def process_single_image(raw_img):
    """处理单张图像，返回四个通道的插值后图像"""
    channels = {}
    for channel in ['G', 'R', 'B', 'C']:
        sparse_img = extract_single_channel(raw_img, channel)
        channels[channel] = interpolate_channel(sparse_img)
    return channels

5. 批量处理优化 #

针对每日300张图像的需求，使用多进程并行处理：

def batch_process(image_paths):
    """批量处理图像路径列表"""
    with Pool(processes=4) as pool:  # 根据CPU核心数调整进程数
        # 假设read_image是自定义的图像读取函数，返回2048x2048数组
        raw_images = [read_image(path) for path in image_paths]
        results = pool.map(process_single_image, raw_images)
    return results

替代方案：基于块拆分的重塑实现 #

若坚持用重塑思路，可按以下方式操作：

def extract_via_reshape(raw_img, channel):
    # 将图像拆分为512x4 x 512x4的块结构
    reshaped = raw_img.reshape(512, 4, 512, 4).transpose(1, 3, 0, 2)
    # 获取滤镜模板中对应通道的坐标
    y_indices, x_indices = np.where(filter_template == channel)
    # 收集所有子块中对应位置的像素
    channel_pixels = reshaped[y_indices, x_indices, :, :]
    # 重新排列为2048x2048的稀疏图像
    channel_img = np.full((2048, 2048), np.nan)
    for y, x in zip(y_indices, x_indices):
        channel_img[y::4, x::4] = channel_pixels[y_indices.tolist().index(y)]
    return channel_img

该方法与掩码方案效率接近，但可读性稍差。

内容的提问来源于stack exchange，提问作者RickW