CIKernel中ROICallback工作原理及局部图像修改实现问询

需求概述 #

需要实现仅修改图像的一小块区域，其余部分保持不变，但对CIKernel中的ROICallback作用理解不清，现有代码未达到预期效果。

现有代码 #

Swift滤镜实现 #

class SwapChannelsFilter: CIFilter {

    var inputImage: CIImage?

    static var kernel: CIColorKernel = { () -> CIColorKernel in
      
        guard let url = Bundle.main.url(forResource: "SwapChannelsKernel.ci", withExtension: "metallib"),
              let data = try? Data(contentsOf: url) else {
                    fatalError("Unable to load metallib")
        }

        guard let kernel = try? CIColorKernel(functionName: "SwapChannelsKernel", fromMetalLibraryData: data) else {
            fatalError("Unable to create kernel")
        }
          
        return kernel
      
    }()

    override var outputImage: CIImage? {
      
        guard let inputImage = inputImage else { return nil }

        let roiCallback: CIKernelROICallback = { _, rect -> CGRect in
            return rect.insetBy(dx: 120, dy: 120)
        }
        
        let filtered = SwapChannelsFilter.kernel.apply(extent: inputImage.extent,
                                                     roiCallback: roiCallback,
                                                       arguments: [inputImage])
        
        return filtered
    }
}

Metal内核代码 #

extern "C" float4 SwapChannelsKernel (coreimage::sample_t inputPixel, coreimage::destination dest) {
    
    return float4(inputPixel.y, inputPixel.x, inputPixel.z, 1.0);
}

已尝试的操作 #

• 修改CIKernelROICallback：

  let roiCallback: CIKernelROICallback = { _, rect -> CGRect in
      return rect.insetBy(dx: 100, dy: 100)
  }
  

  无效果，滤镜仍应用于整张图像。

• 修改extent：

  let outputExtent = inputImage.extent.insetBy(dx: 120, dy: 120)
  

  结果导致图像被裁剪。

• 将“裁剪后的图像”合成到原图上，但滤镜仍应用于整张图像。

疑问解答 #

1. 现象原因与预期效果实现方式 #

你对ROICallback的作用理解完全搞反了：ROICallback不是限制内核修改的区域，而是告诉Core Image：要计算输出图像中某个区域的像素，需要读取输入图像中的哪块区域。

要实现局部修改，有两种可靠方案：

方案一：内核中判断区域（推荐）

修改Metal内核代码，添加区域判断逻辑，只对目标区域的像素应用滤镜：

extern "C" float4 SwapChannelsKernel (coreimage::sample_t inputPixel, coreimage::destination dest) {
    // 定义目标区域：从(120,120)开始，宽高为原图宽高减去240
    float2 targetOrigin = float2(120.0, 120.0);
    float2 targetSize = dest.size - float2(240.0, 240.0);
    
    // 判断当前处理的像素是否在目标区域内
    bool inTargetRegion = (dest.coord.x >= targetOrigin.x) && 
                          (dest.coord.x < targetOrigin.x + targetSize.x) &&
                          (dest.coord.y >= targetOrigin.y) && 
                          (dest.coord.y < targetOrigin.y + targetSize.y);
    
    if (inTargetRegion) {
        return float4(inputPixel.y, inputPixel.x, inputPixel.z, 1.0);
    } else {
        // 不在区域内直接返回原像素
        return inputPixel;
    }
}

此时Swift代码中无需ROICallback，保持默认逻辑即可：

override var outputImage: CIImage? {
    guard let inputImage = inputImage else { return nil }
    let filtered = SwapChannelsFilter.kernel.apply(extent: inputImage.extent,
                                                 arguments: [inputImage])
    return filtered
}

方案二：图像合成

先对局部区域应用滤镜，再将处理后的区域合成回原图：

override var outputImage: CIImage? {
    guard let inputImage = inputImage else { return nil }
    
    // 定义要修改的目标区域
    let targetExtent = inputImage.extent.insetBy(dx: 120, dy: 120)
    // 仅对目标区域应用滤镜
    let filteredRegion = SwapChannelsFilter.kernel.apply(extent: targetExtent,
                                                      arguments: [inputImage])
    // 将处理后的区域叠加回原图
    return filteredRegion?.composited(over: inputImage)
}

2. ROI仅提供小区域却无效果的原因 #

ROICallback的返回值是输入图像的读取范围，不是输出图像的修改范围。你返回inset后的区域，Core Image会认为：计算输出图像的任意一块区域，只需要读取输入图像中inset后的小块。但你的内核是直接修改每个输入像素，最终输出还是整张图——甚至会因为错误读取输入区域导致图像内容错乱，而非只修改局部。

3. ROICallback的调用时机 #

ROICallback是按输出图像的分块区域计算，既不是按每个像素调用，也不是整张图只调用一次。Core Image会把输出图像拆分成多个小tile处理，每处理一个tile时，就会调用ROICallback，传入当前要计算的输出tile的rect，你返回对应的输入图像读取范围。

4. 工作原理可视化示意 #

假设输出图像被拆分为多个处理tile：

+-----------------------+
| Tile1 | Tile2 | Tile3 |
+-------+-------+-------+
| Tile4 | Tile5 | Tile6 |
+-------+-------+-------+
| Tile7 | Tile8 | Tile9 |
+-----------------------+

当处理Tile5时，ROICallback会收到Tile5的rect，你返回的输入区域决定了Core Image要从输入图像中读取哪块区域来计算Tile5的像素。比如模糊滤镜需要更大的输入区域（因为要用到周围像素），而简单像素替换只需要和Tile5相同的输入区域。

内容的提问来源于stack exchange，提问作者RRR