Android下使用FFMPEG实现图片叠加与视频贴纸文字覆层的方法

1. 预览层交互（拖拽缩放）实现 #

• 优先用GestureDetector+ScaleGestureDetector组合处理手势，无需自己手写触摸事件计算，可大幅降低边界bug出现概率
• 不要直接在视频渲染的SurfaceView/TextureView上接触摸事件，在其上方盖一个透明的FrameLayout作为覆层容器，所有文字、图片、贴纸的预览控件都作为该容器的子View添加，每个子View单独处理自身的触摸事件
• 每个覆层控件只需要记录偏移量、缩放比例、旋转角度三个核心参数，后续导出渲染时直接复用这三个参数即可
• 必须加交互边界限制：拖拽时禁止覆层拖出预览可视区域，缩放时设置最小（建议0.1倍）、最大（建议5倍）缩放比例，避免用户操作后找不到覆层

2. 覆层渲染实现方案 #

可以根据你的技术储备二选一：

方案A：FFmpeg实现（新手友好，开发速度快） #

• 交互阶段仅需要记录每个覆层的显示时间区间、相对位置、缩放比例、旋转角度、透明度参数，不需要做实时渲染
• 导出阶段调用FFmpeg滤镜实现叠加：图片/贴纸用overlay滤镜，文字用drawtext滤镜，直接传入提前记录好的参数即可，网上有大量现成的参数示例可以直接复用

方案B：MediaCodec + OpenGL实现（性能好，适合复杂效果） #

• 视频解码后的每一帧纹理，用OpenGL做离屏渲染，先绘制视频帧，再按顺序把每个覆层按参数绘制到对应位置
• 文字可以先生成带文字的Bitmap再转成OpenGL纹理，图片/贴纸直接加载为纹理即可
• 渲染完成的帧直接喂给MediaCodec编码器即可，不需要额外做格式转换

3. 通用数据结构设计 #

所有覆层统一用实体类保存参数，参考结构：

public class OverlayItem {
    // 覆层类型：0=图片 1=文字 2=贴纸
    private int type;
    // 资源路径/文字内容
    private String content;
    // 相对于视频预览区的左上角x坐标
    private float offsetX;
    // 相对于视频预览区的左上角y坐标
    private float offsetY;
    // 缩放比例
    private float scale = 1f;
    // 旋转角度
    private float rotation = 0f;
    // 透明度
    private float alpha = 1f;
    // 覆层开始显示时间（单位：毫秒）
    private long startTimeMs;
    // 覆层结束显示时间（单位：毫秒）
    private long endTimeMs;
}

4. 新手避坑提示 #

• 预览时要先匹配视频的原始宽高比，不要直接按手机屏幕尺寸计算覆层位置，导出时需要把预览阶段的相对坐标转换成实际视频分辨率的绝对坐标，避免出现预览和导出效果不一致的问题
• 多覆层场景要注意绘制顺序，后添加的覆层要绘制在最上层，和预览容器内子View的顺序保持一致
• 带透明通道的PNG贴纸渲染时要开启透明混合，避免透明区域变成黑块

内容的提问来源于stack exchange，提问作者Retrix Dev