如何为自制相机应用添加实时滤镜/特效？

1. 先搞懂核心逻辑 #

实时滤镜的本质是对相机捕获的每一帧图像做像素级处理，再实时渲染输出。相机每秒会输出30-60帧图像，你要确保每帧的处理速度跟得上帧率，不然就会出现卡顿。核心是效率，优先用硬件加速（GPU），别用纯CPU循环处理像素（除非是极简单的测试场景）。

2. 选对适合新手的技术工具 #

根据你的开发平台选对应的工具，上手更快：

• Android：用CameraX做相机捕获，搭配RenderScript（谷歌专门给新手做图像加速的工具，比OpenGL简单）；
• iOS：用AVFoundation获取相机帧，搭配Core Image（苹果自带的滤镜框架，自带硬件加速，还有现成的滤镜可以直接用）；
• 跨平台（Flutter/React Native）：直接用成熟的插件，比如Flutter的camera插件+图像处理插件，或者调用原生平台的Core Image/RenderScript能力。

3. 从最简单的滤镜入手，先跑通流程 #

先做个灰度滤镜，把整个流程走通，再尝试复杂效果：

Android（RenderScript实现灰度） #

1. 用CameraX获取相机预览帧；
2. 创建RenderScript脚本文件grayscale.rs：

#pragma version(1)
#pragma rs java_package_name(com.your.app.package)

void root(const uchar4 *v_in, uchar4 *v_out) {
    // 灰度计算公式：Y = 0.299R + 0.587G + 0.114B
    float gray = 0.299f * v_in->r + 0.587f * v_in->g + 0.114f * v_in->b;
    v_out->r = v_out->g = v_out->b = (uchar)gray;
    v_out->a = v_in->a; // 保留透明度
}

3. 在代码里把相机帧传入RenderScript处理，再把处理后的帧显示到预览控件。

iOS（Core Image实现灰度） #

1. 用AVCaptureSession搭建相机预览；
2. 用系统自带的CIFilter处理帧：

let ciContext = CIContext(options: [.useSoftwareRenderer: false]) // 强制GPU加速
let grayFilter = CIFilter(name: "CIPhotoEffectMono")!

// 捕获帧后的处理逻辑
func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) {
    guard let imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else { return }
    let inputImage = CIImage(cvImageBuffer: imageBuffer)
    
    grayFilter.setValue(inputImage, forKey: kCIInputImageKey)
    guard let outputImage = grayFilter.outputImage else { return }
    
    // 把处理后的图像渲染到预览视图
    if let cgImage = ciContext.createCGImage(outputImage, from: outputImage.extent) {
        DispatchQueue.main.async {
            self.previewImageView.image = UIImage(cgImage: cgImage)
        }
    }
}

4. 进阶：自定义专属滤镜 #

如果想做复古、卡通这类自定义效果，核心是修改像素的RGB计算规则：

• 比如复古滤镜可以调整各通道的权重：

  新R值 = min(255, 原R值 * 1.2)
  新G值 = max(0, 原G值 * 0.8)
  新B值 = max(0, 原B值 * 0.7)
  

• 复杂效果可以用GPU着色器（GLSL/Metal），写片段着色器对每个像素做并行处理，效率比CPU高很多。

5. 优化实时性能的关键点 #

• 减少数据拷贝：尽量让帧数据在GPU内存里处理，别频繁在CPU和GPU之间来回拷贝；
• 降低处理分辨率：如果相机是4K输出，先把帧缩到1080p再处理，能大幅提升速度；
• 始终用硬件加速：所有平台都有对应的硬件加速API，别用纯CPU遍历像素（测试除外）。

内容的提问来源于stack exchange，提问作者Prashant soni