如何自定义WebRTC视频源？iOS屏幕共享场景技术问询

当然可以替换默认的摄像头源！我之前在做iOS屏幕共享项目时，正好用libjingle_peerconnection实现过类似需求，下面给你详细梳理可行性、格式要求和具体实现步骤：

一、可行性确认 #

WebRTC的iOS SDK完全支持自定义视频源，不需要依赖系统摄像头硬件。你可以直接将自己获取的CVPixelBuffer帧作为输入，推流给远端，和摄像头源的传输逻辑是一致的。

二、视频格式要求 #

WebRTC对输入的CVPixelBuffer有几个关键要求，满足这些才能保证高效编码和传输：

• 像素格式：优先推荐两种：
  • kCVPixelFormatType_420YpCbCr8BiPlanarFullRange（也就是iOS上的NV12格式）：压缩效率高，适合实时传输，是WebRTC默认优化的格式。
  • kCVPixelFormatType_32BGRA：如果你的渲染帧本身是BGRA格式，可以直接使用，无需额外转换。
• 尺寸与帧率：要和你初始化PeerConnection时设置的视频约束参数匹配（比如1280x720@30fps）。屏幕共享场景下，也可以根据实际屏幕分辨率调整，但要保持帧率稳定，避免大幅波动导致远端卡顿。
• 内存管理：确保CVPixelBuffer在WebRTC处理期间有效，建议用CVBufferRetain和CVBufferRelease管理生命周期，避免提前释放引发崩溃。

三、具体实现步骤 #

1. 创建自定义视频捕获器 #

我们需要一个自定义类继承自RTCVideoCapturer，用来封装CVPixelBuffer转WebRTC视频帧的逻辑：

#import <WebRTC/WebRTC.h>

@interface CustomScreenCapturer : RTCVideoCapturer
// 对外提供方法，用于传入CVPixelBuffer和时间戳
- (void)sendPixelBuffer:(CVPixelBufferRef)pixelBuffer withTimestamp:(CMTime)timestamp;
@end

@implementation CustomScreenCapturer

- (void)sendPixelBuffer:(CVPixelBufferRef)pixelBuffer withTimestamp:(CMTime)timestamp {
    // 1. 包装CVPixelBuffer为WebRTC的视频帧
    // 注意：rotation参数根据你的屏幕方向设置，比如竖屏用RTCVideoRotation_90
    RTCCVPixelBufferVideoFrame *videoFrame = [[RTCCVPixelBufferVideoFrame alloc] initWithPixelBuffer:pixelBuffer
                                                                                           rotation:RTCVideoRotation_0
                                                                                        timeStampNs:CMTimeGetSeconds(timestamp) * 1e9];
    
    // 2. 将帧传递给WebRTC的视频源
    [self didCaptureVideoFrame:videoFrame];
}

@end

2. 初始化WebRTC视频源与轨道 #

在创建PeerConnection的流程中，替换摄像头源为我们的自定义捕获器：

// 假设你已经有了RTCPeerConnectionFactory实例
RTCPeerConnectionFactory *factory = ...;

// 1. 设置视频约束（分辨率、帧率等）
RTCMediaConstraints *videoConstraints = [[RTCMediaConstraints alloc] initWithConstraints:nil
                                                                                 mandatoryConstraints:@[
                     [[RTCRtpEncodingParameters alloc] initWithKey:@"maxWidth" value:@"1280"],
                     [[RTCRtpEncodingParameters alloc] initWithKey:@"maxHeight" value:@"720"],
                     [[RTCRtpEncodingParameters alloc] initWithKey:@"maxFrameRate" value:@"30"]
                 ]];

// 2. 创建视频源
RTCVideoSource *videoSource = [factory videoSourceWithConstraints:videoConstraints];

// 3. 创建自定义捕获器并关联视频源
CustomScreenCapturer *screenCapturer = [[CustomScreenCapturer alloc] initWithDelegate:videoSource];

// 4. 创建视频轨道并添加到PeerConnection
RTCVideoTrack *screenShareTrack = [factory videoTrackWithSource:videoSource trackId:@"screen_share_track"];
[peerConnection addTrack:screenShareTrack streamIds:@[@"screen_share_stream"]];

3. 实时推送CVPixelBuffer帧 #

每当你获取到渲染后的CVPixelBuffer时，调用自定义捕获器的方法发送帧：

// 假设你在渲染回调中拿到了CVPixelBufferRef pixelBuffer
CMTime currentTimestamp = CMClockGetTime(CMClockGetHostTimeClock()); // 获取当前时间戳，保证递增
[screenCapturer sendPixelBuffer:pixelBuffer withTimestamp:currentTimestamp];

// 注意：如果pixelBuffer是回调临时提供的，需要retain保证WebRTC处理期间有效
CVBufferRetain(pixelBuffer);
dispatch_after(dispatch_time(DISPATCH_TIME_NOW, (int64_t)(0.1 * NSEC_PER_SEC)), dispatch_get_main_queue(), ^{
    CVBufferRelease(pixelBuffer);
});

四、额外优化建议 #

• 帧差异检测：屏幕共享场景下，很多帧内容变化很小，可以通过比较前后帧的像素差异，只发送变化的帧，大幅降低带宽消耗。
• 动态帧率调整：根据网络状况调整帧率，比如网络差时降到15fps，保证传输流畅。
• 像素格式转换：如果你的CVPixelBuffer是其他格式（比如ARGB），可以用CoreImage或Metal转换为WebRTC支持的格式，示例代码如下：

// 将ARGB转换为BGRA
CVPixelBufferRef ConvertARGBToBGRA(CVPixelBufferRef argbBuffer) {
    CVPixelBufferLockBaseAddress(argbBuffer, 0);
    void *argbData = CVPixelBufferGetBaseAddress(argbBuffer);
    size_t width = CVPixelBufferGetWidth(argbBuffer);
    size_t height = CVPixelBufferGetHeight(argbBuffer);
    
    NSDictionary *attributes = @{(id)kCVPixelBufferPixelFormatTypeKey: @(kCVPixelFormatType_32BGRA)};
    CVPixelBufferRef bgraBuffer = NULL;
    CVPixelBufferCreate(kCFAllocatorDefault, width, height, kCVPixelFormatType_32BGRA, (__bridge CFDictionaryRef)attributes, &bgraBuffer);
    
    CVPixelBufferLockBaseAddress(bgraBuffer, 0);
    void *bgraData = CVPixelBufferGetBaseAddress(bgraBuffer);
    
    // 逐像素转换ARGB到BGRA
    uint32_t *argbPixels = (uint32_t *)argbData;
    uint32_t *bgraPixels = (uint32_t *)bgraData;
    for (int i = 0; i < width * height; i++) {
        uint32_t argb = argbPixels[i];
        bgraPixels[i] = (argb & 0xFF00FF00) | ((argb & 0x00FF0000) >> 16) | ((argb & 0x000000FF) << 16);
    }
    
    CVPixelBufferUnlockBaseAddress(argbBuffer, 0);
    CVPixelBufferUnlockBaseAddress(bgraBuffer, 0);
    return bgraBuffer;
}

内容的提问来源于stack exchange，提问作者Eric Kevin