如何用Metal/CoreImage实时叠加自定义颜色的视频边缘检测结果？

嘿，既然你已经用Metal Performance Shader搞定了Sobel边缘检测，那叠加自定义颜色其实没那么复杂，给你两种最简的实现思路，适配不同的开发习惯：

MPS Sobel输出的是灰度纹理——边缘区域是亮白色（像素值接近1.0），背景是纯黑色（0.0）。你只需要在后续的渲染环节加一个简单的片段着色器，把灰度边缘映射成自定义颜色，再和原视频帧混合就行：

1. 保留现有MPS Sobel流程：先通过MPSImageSobel处理视频帧，得到边缘灰度纹理。
2. 写一个轻量的片段着色器：这个shader会同时接收原视频纹理和边缘纹理，根据边缘强度决定是否叠加自定义颜色：

   #include <metal_stdlib>
   using namespace metal;
   
   fragment float4 edgeOverlayFragment(
       float4 originalColor [[color(0)]],
       texture2d<float, access::sample> edgeTexture [[texture(0)]],
       sampler edgeSampler [[sampler(0)]],
       float2 uv [[texture_coord(0)]],
       constant float4& customEdgeColor [[buffer(0)]] // 自定义颜色，比如float4(1.0, 0.0, 0.0, 1.0)是红色
   ) {
       float edgeStrength = edgeTexture.sample(edgeSampler, uv).r;
       // 加个阈值过滤弱边缘，避免噪点
       if (edgeStrength > 0.15) {
           // 混合原颜色和边缘颜色，边缘强度越高，颜色越明显
           return mix(originalColor, customEdgeColor, edgeStrength);
       }
       return originalColor;
   }
   

3. 整合到渲染管线：把原视频帧作为主输入纹理，边缘纹理作为附加纹理，用这个shader渲染到预览用的纹理/视图上，就能实时看到叠加效果了。

这种方法完全复用你现有的MPS pipeline，性能拉满，适合高帧率、高分辨率的实时视频场景。

如果你不想手动写Metal渲染逻辑，CoreImage提供了现成的工具链，几行代码就能搞定：

1. 用CISobelEdgeDetection生成边缘图：CoreImage的内置滤镜已经封装了Sobel算法，还能一键调整边缘强度。
2. 把灰度边缘转换成自定义颜色：通过CIColorMatrix滤镜把灰度值映射成你想要的颜色，再和原视频帧混合：

   func applyColoredEdgeOverlay(to videoFrame: CIImage) -> CIImage? {
       // 1. 生成Sobel边缘图
       let sobelFilter = CISobelEdgeDetection()
       sobelFilter.inputImage = videoFrame
       sobelFilter.edgeIntensity = 1.2 // 调整边缘的明显程度
   
       // 2. 把灰度边缘转换成自定义颜色（比如亮黄色）
       let colorMatrix = CIColorMatrix()
       colorMatrix.inputImage = sobelFilter.outputImage
       // 用边缘的灰度值作为alpha通道，保证只有边缘区域显示颜色
       colorMatrix.rVector = CIVector(x: 0, y: 0, z: 0, w: 1)
       colorMatrix.gVector = CIVector(x: 0, y: 0, z: 0, w: 1)
       colorMatrix.bVector = CIVector(x: 0, y: 0, z: 0, w: 1)
       // 给颜色通道加偏置，这里是黄色（R=1, G=1, B=0）
       colorMatrix.biasVector = CIVector(x: 1.0, y: 1.0, z: 0, w: 0)
   
       // 3. 把颜色边缘和原视频帧混合
       let blendFilter = CISourceOverCompositing()
       blendFilter.inputImage = colorMatrix.outputImage
       blendFilter.backgroundImage = videoFrame
   
       return blendFilter.outputImage
   }
   

3. 渲染到预览层：用CIContext把最终的CIImage渲染到MTKView或者UIImageView即可，CoreImage会自动利用Metal加速，性能完全能跟上实时视频。

Lightroom调焦点时的边缘是高亮的，同时原图像会变暗一点。你可以在混合前给原视频帧加个亮度调整：

• Metal里：originalColor.rgb *= 0.7; 降低原图像亮度，再叠加边缘颜色
• CoreImage里：先给原视频帧用CIBrightnessAdjust降低亮度，再和边缘图混合

内容的提问来源于stack exchange，提问作者Deepak Sharma