You need to enable JavaScript to run this app.
导航
实时音视频
  • 文档首页
    • /
  • 实时音视频

Native 端自定义视频采集

最近更新时间：2024.04.22 17:52:21

首次发布时间：2021.07.18 15:06:43

我的收藏

当你使用 RTC 实现实时音视频通信时，RTC 会使用默认的音视频模块进行视频采集和渲染。在一些场景下，你可能会发现默认模块无法满足需求，比如：

  • 你的音视频应用中已实现了视频采集和渲染模块；
  • 希望使用其他设备采集的视频源，如录屏信息；
  • 希望对采集到的音视频数据进行一些传输前处理，如美颜等；
  • 某些视频采集设备被占用。

在这些场景下，你可以参考本文，将自定义设备采集的视频源，交由 RTC 进行编码和传输。

前提条件

你已经集成了 3.33 及以上版本的 RTC SDK，实现了基本的音视频通话。

功能实现

使用 setVideoSourceType 指定自定义视频源。你需要使用自采集模块驱动采集设备对视频进行采集，采集的视频帧通过 pushExternalVideoFrame 发送给 SDK。
自定义视频采集的数据流转如下图：

image.png

API 调用

API 调用时序可以参考下图：

alt

集成步骤

  • 以下代码基于 3.33+，此版本下，视频封装类为 VideoFrame。
  • 3.32 到 3.18 版本中，视频封装类为 RtcVideoFrame，和 VideoFrame 的差别仅在于名称不同。
  • 对于 3.18 以下的版本，视频封装类为 ExtVideoFrame，和 VideoFrame 的差别仅在于：ExtVideoFrame 中不包含 buffer_type。

1. 指定自定义视频源

通过调用 setVideoSourceType 指定自定义视频源。

  • iOS

    [self.rtcVideo setVideoSourceType:ByteRTCVideoSourceTypeExternal WithStreamIndex:ByteRTCStreamIndexMain];

  • Android

    mRTCVideo.setVideoSourceType(StreamIndex.STREAM_INDEX_MAIN, VIDEO_SOURCE_TYPE_EXTERNAL);

2. 构建视频采集器

你可以参考以下示例项目中，Advance_Demo 中自定义采集工具类，创建你的视频采集模块。

3. 配置视频帧参数

你可以使用 pushExternalVideoFrame 中的 VideoFrame 参数，对采集到的视频数据进行编码前处理。比如，设置 VideoFrame 参数中的 rotation 为 180，即可使视频帧顺时针旋转 180 度。当然，你也可以加入自行实现的其它前处理逻辑。

你必须根据自采集视频编码数据格式，使用对应的 VideoFrame 参数。

4. 推送外部视频帧

调用 pushExternalVideoFrame 将采集到的视频帧，交由 RTC 进行编码和传输。

  • iOS
    根据所需要设置的参数，选择调用合适的 pushExternalVideoFrame 接口。参见 API 参考。

    #pragma mark - AVCaptureVideoDataOutputSampleBufferDelegate
/**
 * 在接收到摄像头视频帧回调后调用 pushExternalVideoFrame 接口向 SDK 发送视频帧数据。
 */
- (void)captureOutput:(AVCaptureOutput *)output didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection {
    CVPixelBufferRef buffer = CMSampleBufferGetImageBuffer(sampleBuffer);
    CMTime timeStamp = CMSampleBufferGetPresentationTimeStamp(sampleBuffer);//建议增加时间戳打印，便于进行异常问题的定位和排查。
    [self.rtcVideo pushExternalVideoFrame:buffer time:timeStamp];
}

  • Android
    根据您使用的视频采集设备的不同，采集输出的视频信号可能会采取不同的视频编码方式。你需要根据不同的视频编码方式，采用不同的参数。
    以下代码分别展示了采集视频采用纹理方案和 RGBA 格式 raw 数据时，如何设置视频帧参数。

    • Texture
    public void frameAvailable(SurfaceTexture texture) {
// 预览渲染逻辑
...
// 设置外部视频帧
  GLTextureVideoFrameBuilder builder = new GLTextureVideoFrameBuilder(VideoPixelFormat.kVideoPixelFormatTextureOES)//或 TEXTURE_2D
    .setEGLContext(sharedEglContext)
  .setTextureID(textureID)
  .setTextureMatrix(transformMatrix)
  .setWidth(videoWidth)
  .setHeight(videoHeight)
  .setRotation(VideoRotation.VIDEO_ROTATION_270)//设置旋转角度
  .setTimeStampUs(System.currentTimeMillis() * TimeUnit.MILLISECONDS.toNanos(1))//设置时间戳
//继续处理后续视频帧，直到处理完最后一帧
...
// 向 SDK 推送外部视频帧
if (mVideoCallback != null && mIsPushExternalVideoSource) {
    mVideoCallback.pushExternalVideoFrame(builder.build());
}
}
    • RGBA 格式
    public void createRGBAFrame(byte[] RGBABuffer, ColorSpace colorSpace) {
CpuBufferVideoFrameBuilder builder = new CpuBufferVideoFrameBuilder(VideoPixelFormat.kVideoPixelFormatRGBA);
builder.setWidth(width)
        .setHeight(height)
        .setRotation(VideoRotation.VIDEO_ROTATION_0)
        .setTimeStampUs(System.currentTimeMillis() * TimeUnit.MILLISECONDS.toNanos(1))//设置时间戳
        .setPlaneData(0, RGBABuffer)
        .setColorSpace(colorSpace)
        .setPlaneStride(0, width * 4);
    //向 SDK 推送外部视频帧
    if (mInstance != null) {
    mInstance.pushExternalVideoFrame(builder.build());
    }
}

API 参考

以下是各个平台的相关 API 参考：

相关文档