Android直播中ByteBuffer与Bitmap互转如何避免丢帧卡顿

持有通过如下方式创建的ByteBuffer，其中frame是从直播流媒体链路获取的VideoFrame对象：

var rgbaData = JniUtil.nativeAllocateByteBuffer(frame.width * frame.height * 4)

需求为：对缓冲区生成的Bitmap应用高通皮肤磨皮（HighPassSkinSmoothing）滤镜，再将处理后的Bitmap转回字节数据写入原ByteBuffer，最终交回直播流媒体链路。

滤镜应用逻辑 #

val bitmap = getBitmapFromBuffer(frame.width, frame.height, rgbaData)

amniXSkinSmooth.storeBitmap(bitmap, false)
amniXSkinSmooth.initSdk()
amniXSkinSmooth.startSkinSmoothness(600F)
amniXSkinSmooth.startSkinWhiteness(2F)
// 偶现amniXSkinSmooth.bitmapAndFree返回null，疑似转换流程错误
rgbaData.put(getByteArrayFromBitmap(amniXSkinSmooth.bitmapAndFree))
amniXSkinSmooth.unInitSdk();

ByteBuffer转Bitmap实现 #

private fun getBitmapFromBuffer(width: Int, height: Int, buffer: ByteBuffer): Bitmap {
    buffer.rewind()
    val bitmap = Bitmap.createBitmap(width, height, Bitmap.Config.ARGB_8888)
    bitmap.copyPixelsFromBuffer(buffer)
    return bitmap
}

Bitmap转回ByteArray实现 #

private fun getByteArrayFromBitmap(b: Bitmap): ByteArray {
  val size: Int = b.byteCount
  val buffer = ByteBuffer.allocate(size)
  val bytes = ByteArray(size)
  b.copyPixelsToBuffer(buffer)
  buffer.rewind()
  buffer.get(bytes)
  return bytes
}

• 帧丢失严重，应用滤镜后直播存在明显卡顿
• 偶现amniXSkinSmooth.bitmapAndFree返回空的异常

核心问题根因 #

1. 重量级操作每帧重复调用：每帧执行initSdk()/unInitSdk()是卡顿的首要原因。SDK初始化包含算法库加载、内存池预分配、计算资源初始化等重量级逻辑，单次耗时可达几十到上百毫秒，远大于单帧允许的处理间隔（30fps下为33ms，60fps下为16ms），直接阻塞采集线程导致丢帧；同时重复初始化/销毁会打乱SDK内部状态，是bitmapAndFree返回null的核心诱因。
2. 冗余内存拷贝开销过高：当前链路存在5次以上无意义内存拷贝：原生ByteBuffer→堆内Bitmap→SDK内部像素存储→处理后Bitmap→临时堆内ByteBuffer→临时ByteArray→写回原生ByteBuffer。1080P分辨率单帧RGBA数据大小约8MB，多次拷贝会占用大量内存带宽，还会频繁触发GC导致卡顿。
3. 同步阻塞采集链路：所有处理逻辑全部运行在高优先级的直播采集/渲染线程，一旦单帧处理超时就会直接阻塞帧输出，导致卡顿丢帧。
4. 对象频繁重复创建：每帧新建Bitmap、ByteBuffer、ByteArray对象，内存抖动明显，进一步加剧GC停顿。

具体优化实现 #

1. SDK生命周期与采集流对齐，禁止每帧初始化/销毁 #

将SDK初始化、销毁逻辑挪到相机/推流的生命周期回调中，整个直播过程只执行一次：

// 相机打开、推流启动时调用一次
fun onStreamStart() {
    amniXSkinSmooth.initSdk()
    // 磨皮、美白参数只在初始化、用户调整参数时设置，不要每帧调用
    amniXSkinSmooth.startSkinSmoothness(600F)
    amniXSkinSmooth.startSkinWhiteness(2F)
}

// 相机关闭、推流结束时调用一次
fun onStreamStop() {
    amniXSkinSmooth.unInitSdk()
    reusableBitmap?.recycle()
    reusableBitmap = null
}

2. 复用对象、消除冗余拷贝 #

• 帧尺寸不变时复用Bitmap对象，避免每帧重复分配
• 去掉中间ByteArray、临时ByteBuffer层，处理完成后直接将Bitmap像素拷贝回原生ByteBuffer，减少拷贝次数
• 增加空值判断，处理失败时保留原帧数据，避免写入空数据导致花屏

// 成员变量，复用Bitmap避免重复分配
private var reusableBitmap: Bitmap? = null
private var cachedWidth = -1
private var cachedHeight = -1

private fun getBitmapFromBuffer(width: Int, height: Int, buffer: ByteBuffer): Bitmap {
    if (reusableBitmap == null || cachedWidth != width || cachedHeight != height) {
        reusableBitmap?.recycle()
        reusableBitmap = Bitmap.createBitmap(width, height, Bitmap.Config.ARGB_8888)
        cachedWidth = width
        cachedHeight = height
    }
    buffer.rewind()
    reusableBitmap!!.copyPixelsFromBuffer(buffer)
    return reusableBitmap!!
}

// 帧处理逻辑
val bitmap = getBitmapFromBuffer(frame.width, frame.height, rgbaData)
amniXSkinSmooth.storeBitmap(bitmap, false)
amniXSkinSmooth.startProcess() // 替换原来每帧设置参数+处理的逻辑，按SDK实际API调整
val processedBitmap = amniXSkinSmooth.bitmapAndFree

rgbaData.rewind()
if (processedBitmap != null) {
    processedBitmap.copyPixelsToBuffer(rgbaData)
    // 回收SDK返回的临时Bitmap，避免内存泄漏
    if (processedBitmap != reusableBitmap) {
        processedBitmap.recycle()
    }
}
// 处理失败时不修改rgbaData原有数据，直接输出原帧

3. 异步处理+最新帧优先策略 #

不要在采集线程同步做滤镜计算，将处理逻辑挪到独立的工作线程：

• 采集线程拿到帧后，只做轻量的像素拷贝到待处理缓冲区，立刻返回，不阻塞采集链路
• 工作线程永远只处理最新的一帧，正在处理时如果有新帧到来，直接覆盖待处理缓冲区，丢弃旧帧，避免帧队列积压导致延迟越来越高
• 处理完成后，通过线程安全的方式将处理后的数据交换到输出队列，保证输出帧率稳定在25-30fps即可，不需要处理所有输入帧

进阶优化 #

如果磨皮SDK支持直接传入Native层内存地址、支持OpenGL纹理输入，直接跳过Bitmap转换步骤，将原生ByteBuffer的内存指针或者纹理ID传给SDK做原地处理，实现零拷贝，性能可提升70%以上。

内容的提问来源于stack exchange，提问作者Pratik Adhikari