Android Kotlin：如何通过CameraX为视频每一帧嵌入位置数据

要给视频的每一帧嵌入位置数据，全局Exif的方式行不通（它属于整个视频的全局元数据），得从实时帧处理+编码的角度入手，以下是两种可行的实现思路：

方案一：结合CameraX ImageAnalysis与手动编码 #

利用CameraX的ImageAnalysis模块实时捕获每一帧图像，在编码前为帧注入位置数据，再通过MediaCodec完成编码封装。

具体步骤： #

• 配置ImageAnalysis：设置与录制匹配的分辨率、图像格式（推荐YUV_420_888），并绑定到CameraX生命周期。
• 实时获取位置：用FusedLocationProviderClient请求位置更新，缓存最新的经纬度数据。
• 处理帧数据：在ImageAnalysis.Analyzer的analyze()方法中，拿到每一帧Image对象后，将位置数据写入帧的Exif元数据（需注意YUV格式的Exif操作逻辑，或转成JPEG后写入），也可将位置信息编码为字节流附加到帧数据中。
• 编码与封装：将处理后的帧通过MediaCodec编码，再用MediaMuxer封装成MP4文件。

代码片段示例： #

// 初始化ImageAnalysis
val imageAnalysis = ImageAnalysis.Builder()
    .setTargetResolution(Size(1920, 1080))
    .setBackpressureStrategy(ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST)
    .build()

// 设置帧分析器
imageAnalysis.setExecutor(executor)
imageAnalysis.setAnalyzer { image ->
    // 获取提前缓存的最新位置数据
    locationProvider.lastKnownLocation?.let { loc ->
        // 将位置写入帧的Exif（这里需根据图像格式调整操作逻辑）
        val exifOutputStream = ByteArrayOutputStream().apply {
            ImageUtil.convertYuvToJpeg(image, this) // 自定义YUV转JPEG工具方法
        }
        val exif = ExifInterface(exifOutputStream.toByteArray().inputStream())
        exif.setAttribute(ExifInterface.TAG_GPS_LATITUDE, loc.latitude.toString())
        exif.setAttribute(ExifInterface.TAG_GPS_LONGITUDE, loc.longitude.toString())
        exif.saveAttributes()
        // 将处理后的JPEG数据传给MediaCodec编码
        val encodedData = exifOutputStream.toByteArray()
        mediaCodec.queueInputBuffer(...) // 省略MediaCodec入队逻辑
    }
    image.close()
}

// 绑定到CameraX生命周期
cameraProvider.bindToLifecycle(this, cameraSelector, imageAnalysis)

方案二：注入SEI补充信息到编码流 #

H.264/H.265编码标准中的SEI（Supplemental Enhancement Information）字段可携带自定义元数据，适合在每一帧中嵌入位置信息。

具体步骤： #

• 配置自定义录制Surface：通过MediaCodec创建输入Surface，将CameraX的VideoCapture输出定向到这个Surface。
• 实时捕获位置：同样用FusedLocationProviderClient获取实时位置并缓存。
• 插入SEI数据：在MediaCodec编码每一帧时，构造包含位置信息的SEI字节流，插入到编码后的NALU（网络抽象层单元）中。
• 封装视频：用MediaMuxer将带有SEI的编码流封装成完整视频。

关键注意点： #

• SEI的格式需严格遵循H.264/H.265标准，否则播放器可能无法解析甚至报错。
• 后续解析视频时，需用工具（如FFmpeg）提取每一帧的SEI数据来还原位置信息。

通用注意事项 #

• 性能优化：帧处理和编码操作必须放在子线程，避免阻塞主线程；优先使用硬件编码（MediaCodec默认优先硬件），降低CPU负载。
• 权限要求：需要申请CAMERA权限，以及ACCESS_FINE_LOCATION或ACCESS_COARSE_LOCATION权限（注意动态申请）。
• 兼容性：不同设备对帧Exif或SEI的支持可能有差异，建议在目标设备上做兼容性测试。

内容的提问来源于stack exchange，提问作者Muhammad Ammar