概览--实时音视频-火山引擎

概览

最近更新时间：2024.10.28 17:54:23首次发布时间：2022.03.10 11:26:27

引擎管理

方法	描述
createEngine	创建引擎对象。你必须先使用此方法，以使用 RTC 提供的各种音视频能力。再次调用此方法时，会创建另一个独立的引擎实例。
destroyEngine	手动销毁通过 createEngine 所创建的引擎对象。
setBusinessId	设置业务标识参数可通过 businessId 区分不同的业务场景。businessId 由客户自定义，相当于一个“标签”，可以分担和细化现在 AppId 的逻辑划分的功能，但不需要鉴权。
getSdkVersion	获取 SDK 当前的版本号。
isSupported	浏览器是否支持
getSupportedCodecs	获取当前浏览器支持的编解码类型。若你已开通 vp8 业务，可以在进房前调用该接口查看当前浏览器是否支持 vp8 编码类型
setLogConfig	配置本地缓存的日志级别, 以及可使用的最大缓存空间。
downloadLog	下载本地缓存生成文件。

设备管理

方法	描述
enumerateDevices	枚举可用的媒体输入和输出设备，比如麦克风、摄像头、耳机等。可以通过该方法获取设备的 deviceId, 用于在 setAudioPlaybackDevice、startVideoCapture、startAudioCapture 方法中指定采集/播放设备。
enableDevices	向用户获取设备权限
enumerateAudioCaptureDevices	该方法枚举可用的麦克风。可以通过该方法获取设备的 `deviceId`, 用于在 startAudioCapture、setAudioCaptureDevice 方法中指定使用的麦克风设备。
enumerateVideoCaptureDevices	该方法枚举可用的摄像头等。可以通过该方法获取设备的 deviceId, 用于在 startVideoCapture、setVideoCaptureDevice 方法中指定使用的摄像头设备。
enumerateAudioPlaybackDevices	该方法枚举可用的音频播放设备，例如耳机、音箱等。可以通过该方法获取设备的 deviceId, 可用于 setAudioPlaybackDevice 方法中指定音频播放设备。
startAudioPlaybackDeviceTest	启动音频播放设备检测。测试启动后，循环播放指定的音频文件，同时将通过 onAudioPlaybackDeviceTestVolume 回调播放时的音量信息。
stopAudioPlaybackDeviceTest	停止音频播放设备测试。
startAudioDeviceRecordTest	开始音频采集设备和音频播放设备测试。建议提前调用 enableAudioPropertiesReport 注册音量提示回调，测试开始后，音频设备开始采集本地声音，可以通过 onLocalAudioPropertiesReport 获取采集音量。
stopAudioDeviceRecordAndPlayTest	停止采集本地音频，并开始播放采集到的声音。录音播放完毕后，设备测试流程结束。调用 startAudioDeviceRecordTest 30s 内调用本接口来停止采集并开始播放此前采集到的声音。
stopAudioDevicePlayTest	停止由调用 startAudioDeviceRecordTest 开始的音频播放设备测试。在音频播放设备测试自动结束前，可调用本接口停止音频采集与播放测试。
onAudioPlaybackDeviceTestVolume	回调音频设备测试时的播放音量
setAudioCaptureDevice	设置内部采集时使用的麦克风。
onAudioDeviceStateChanged	音频媒体设备状态改变。
setVideoCaptureDevice	设置内部采集时使用的摄像头。
onVideoDeviceStateChanged	视频媒体设备状态改变。

房间管理

方法	描述
joinRoom	加入房间。调用此方法加入房间，同房间内其他用户进行音视频通话。
leaveRoom	离开房间。用户调用此方法离开房间，结束通话过程，释放所有通话相关的资源。
updateToken	更新 Token。用于加入房间的 Token 有一定的有效期。Token 过期前 30 秒将收到 onTokenWillExpire 回调，需要调用此方法更新房间的 Token 信息。
setUserVisibility	设置用户可见性。未调用该接口前，本地用户默认对他人可见。默认情况下，一个 RTC 房间最多同时容纳 50 名可见用户，最多 30 人可同时上麦。更多信息参看用户和媒体流上限。
setAudioSelectionConfig	设置本端发布流在音频选路中的优先级。
onUserJoined	远端可见用户加入房间，或房内不可见用户切换为可见的回调
onUserLeave	远端可见用户离开房间，或房内可见用户切换为隐身的回调
onConnectionStateChanged	连接状态发生变化
onError	当 SDK 内部发生不可逆转错误时触发该回调。
onTokenWillExpire	Token 过期前 30 秒将触发该回调。调用 updateToken 更新 Token。否则 Token 过期后，用户将被移出房间无法继续进行音视频通话。
onTokenPublishPrivilegeWillExpire	Token 发布权限过期前 30 秒将触发该回调。收到该回调后，调用 updateToken 更新 Token。
onTokenPublishPrivilegeDidExpired	Token 发布权限过期时触发该回调，调用 updateToken 更新 Token。
onTokenSubscribePrivilegeWillExpire	Token 订阅权限过期前 30 秒将触发该回调。收到该回调后，调用 updateToken 更新 Token。
onTokenSubscribePrivilegeDidExpired	Token 订阅权限过期时触发该回调，调用 updateToken 更新 Token。

音频管理

方法	描述
setAudioPlaybackDevice	设置音频播放设备，例如扬声器或者耳机，默认使用扬声器。
startAudioCapture	开启内部音频采集。默认为关闭状态。内部采集是指：使用 RTC SDK 内置采集机制进行音频采集。可见用户进房后调用该方法，房间中的其他用户会收到 onUserStartAudioCapture 的回调。
startAudioAndVideoCapture	使用内部采集模块同时开启音视频采集。调用该方法，浏览器会同时请求麦克风和摄像头授权，用户只需授权一次。可见用户进房后调用该方法，房间中的其他用户会收到 onUserStartVideoCapture 和 onUserStartAudioCapture 的回调。
stopAudioCapture	立即关闭内部音频采集。发布流后调用该方法，房间内的其他用户会收到 onUserStopAudioCapture 的回调。
setAudioProfile	设置音质档位
setCaptureVolume	调节音频采集音量。
setPlaybackVolume	调节本地播放的单个远端用户的音量。
getAudioVolume	获取音量大小。包括内部采集、外部采集的本地流以及远端流。
setAudioCaptureConfig	设置 RTC SDK 内部采集时的音频采集参数。默认参数由浏览器决定。
enableAudioPropertiesReport	启用音频信息提示。
onLocalAudioPropertiesReport	调用 enableAudioPropertiesReport 后，根据设置的 interval 值，你会周期性地收到此回调，了解本地音频的瞬时信息。本地音频包括使用 RTC SDK 内部机制采集的麦克风音频和屏幕音频。
onRemoteAudioPropertiesReport	远端用户进房后，本地调用 enableAudioPropertiesReport，根据设置的 interval 值，本地会周期性地收到此回调，了解订阅的远端用户的瞬时音频信息。远端用户的音频包括使用 RTC SDK 内部机制/自定义机制采集的麦克风音频和屏幕音频。
onActiveSpeaker	成功调用 enableAudioPropertiesReport 后，当房间内用户数量大于或等于 2 且有活跃用户时，你会周期性收到此回调，获取房间内音量最大用户的信息。
onAudioPlaybackDeviceChanged	当调用 setAudioPlaybackDevice 设置音频播放设备时，会收到此事件。
onUserStartAudioCapture	房间内的可见用户调用 startAudioCapture 开启音频采集时，房间内其他用户会收到此事件。
onUserStopAudioCapture	房间内的可见用户调用 stopAudioCapture 关闭音频采集时，房间内其他用户会收到此事件。
setEarMonitorMode	打开/关闭耳返功能。
setEarMonitorVolume	设置耳返音量。

视频管理

方法	描述
startVideoCapture	开启内部视频采集。默认为关闭状态。内部视频采集是指：使用 RTC SDK 内置的视频采集机制进行视频采集。可见用户进房后调用该方法，房间中的其他用户会收到 onUserStartVideoCapture 的回调。
stopVideoCapture	关闭内部视频采集。发布流后调用该方法，房间中的其他用户会收到 onUserStopVideoCapture 的回调。
setLocalVideoPlayer	设置本地视频渲染时，使用的视图，并设置渲染模式。调用本方法绑定视图以后，你可以通过 `onPlayerEvent` 来监听播放状态。你可以通过再次调用本方法，并绑定空视图来解除绑定。如果已创建了多个播放器，且存在默认播放器，不指定 playerId，将解绑默认播放器。
setRemoteVideoPlayer	设置远端视频渲染时使用的视图，并设置渲染模式。建议在收到 onUserPublishStream/onUserPublishScreen 事件后，调用本方法对远端视频视图进行设置。你可以通过再次调用本方法，并绑定空视图来解除绑定。如果已创建了多个播放器，且存在默认播放器，不指定 playerId，将解绑默认播放器。
play	手动开启音视频流播放。
stop	暂停音视频流播放。
setLocalVideoMirrorType	是否开启本地视频流镜像模式。
setRemoteVideoMirrorType	开关远端视频流镜像模式。
setVideoEncoderConfig	在视频发布端设置摄像头视频流的发布参数。
setDummyCaptureImagePath	停止内部摄像头采集时，使用静态图片填充本地推送的视频流。
onUserStartVideoCapture	房间内的可见用户调用 startVideoCapture 开启内部视频采集时，房间内其他用户会收到此事件。
onUserStopVideoCapture	房间内的可见用户调用 stopVideoCapture 关闭内部视频采集时，房间内其他用户会收到此事件。
onLocalVideoSizeChanged	当实际采集的参数与设置的编码参数不一致时，SDK 会触发该回调返回实际采集视频的参数。
onPlayerEvent	播放器事件
onAutoplayFailed	自动播放失败
onTrackEnded	断流事件，建议在回调里重新采集。

音视频传输

方法	描述
publishStream	在当前所在房间内发布本地摄像头/麦克风采集的媒体流
unpublishStream	停止将本地摄像头/麦克风采集的媒体流发布到当前所在房间中
subscribeStream	订阅房间内指定的通过摄像头/麦克风采集的媒体流。该方法对自动订阅和手动订阅模式均适用。
unsubscribeStream	取消订阅房间内指定的通过摄像头/麦克风采集的媒体流。该方法对自动订阅和手动订阅模式均适用。
pauseAllSubscribedStream	暂停接收来自远端的媒体流。
resumeAllSubscribedStream	恢复接收来自远端的媒体流
setLocalSimulcastMode	在视频发布端设置摄像头视频流的大小流模式，并指定小流的发布参数。
setRemoteSimulcastStreamType	设置期望订阅的远端视频流的参数。
setSubscribeFallbackOption	设置订阅的音视频流的回退选项。回退指在网络不佳时允许订阅流进行降级或只订阅音频流，以保证通话流畅。
setRemoteUserPriority	设置用户优先级。该方法与 setSubscribeFallbackOption 搭配使用。开启回退后，会优先保证收到的高优先级用户的流的质量。
startForwardStreamToRooms	开始跨房间转发媒体流，示例代码可参看跨房间转发媒体流功能文档。在调用 joinRoom 后调用本接口，实现向多个房间转发媒体流，适用于跨房间连麦等场景。
updateForwardStreamToRooms	更新跨房间媒体流转发信息。通过 startForwardStreamToRooms 发起媒体流转发后，可调用本方法增加或者减少目标房间，或更新房间密钥。
stopForwardStreamToRooms	停止向所有目标房间转发媒体流。
pauseForwardStreamToAllRooms	暂停向所有目标房间转发媒体流。调用本方法暂停向所有目标房间转发后，你可以调用 resumeForwardStreamToAllRooms 恢复转发。
resumeForwardStreamToAllRooms	恢复向所有目标房间转发媒体流。
onUserPublishStream	房间内新增远端摄像头/麦克风采集音视频流的回调。
onUserUnpublishStream	房间内远端摄像头/麦克风采集的媒体流移除的回调。
onRemoteVideoFirstFrame	视频首帧渲染
getRemoteVideoStats	获取用户订阅的远端视频流统计信息以及网络状况。
onRemoteAudioFirstFrame	远端音频首帧播放事件
getRemoteAudioStats	获取用户订阅的远端音频流统计信息以及网络状况。
getLocalVideoStats	获取本地视频流统计信息以及网络状况。
getLocalAudioStats	本地音频流统计信息以及网络状况。
onRemoteStreamStats	用户订阅的远端音/视频流统计信息以及网络状况，统计周期为 2s
onLocalStreamStats	本地音/视频流统计信息以及网络状况，统计周期为 2s
onAutoSubscribeResult	如果开启了自动订阅，订阅成功或者失败后可以收到此事件
onAutoPublishResult	如果开启了自动发布，发布成功或者失败后可以收到此事件
onNetworkQuality	加入房间后，会以每2秒一次的频率，收到本端上行及下行的网络质量信息。
onSimulcastSubscribeFallback	订阅的视频流发生回退，或从回退中恢复时，收到此回调。
onRemoteVideoSizeChanged	远端视频分辨率发生改变时，房间内订阅此视频流的用户会收到此回调。
onVideoStreamBanned	调用服务端接口 BanUserStream/UnbanUserStream 封禁/解禁指定用户的视频流发布时，触发该回调。
onAudioStreamBanned	调用服务端接口 BanUserStream/UnbanUserStream 封禁/解禁指定用户的音频流发布时，触发该回调。
onForwardStreamError	设置跨房间转发媒体流失败时收到本事件。

公共流

方法	描述
startPushPublicStream	发布一路公共流。
updatePublicStreamParam	更新公共流参数。调用 startPushPublicStream 发布一路公共流。
stopPushPublicStream	停止发布公共流。调用 startPushPublicStream 发布一路公共流。
startPlayPublicStream	订阅指定公共流。无论用户是否在房间内，都可以调用本接口获取和播放指定的公共流。
stopPlayPublicStream	取消订阅指定公共流。关于订阅公共流，查看 startPlayPublicStream。
setPublicStreamVideoPlayer	为指定公共流设置使用的视图和渲染模式。
setPublicStreamVolume	调节本地播放的公共流播放音量。
onPublicStreamStats	调用 startPlayPublicStream 订阅公共流，后将触发此回调，周期为 2s，包含各项统计信息。
onPushPublicStreamResult	公共流发布结果回调。调用 startPushPublicStream 发布公共流后，结果通过此回调通知用户。
onPublicStreamSEIMessageReceived	回调公共流中包含的 SEI 信息。调用 startPlayPublicStream 接口启动拉公共流功能后，通过此回调收到公共流中的 SEI 消息。
onFirstPublicStreamAudioFrameDecoded	公共流的音频首帧解码成功。关于订阅公共流，参看 startPlayPublicStream。
onFirstPublicStreamVideoFrameDecoded	公共流的视频首帧解码成功。关于订阅公共流，参看 startPlayPublicStream。
onFirstPublicStreamVideoFrameRendered	公共流的首帧视频渲染成功。关于订阅公共流，参看 startPlayPublicStream。

屏幕分享

方法	描述
startScreenCapture	使用内部采集模块，采集当前屏幕视频流，用于共享。
stopScreenCapture	停止屏幕共享流内部采集。
getElectronScreenSources	在 Electron 框架下使用屏幕共享功能时，返回屏幕共享源列表。
setScreenEncoderConfig	设置共享屏幕的视频编码参数，同时对视频采集生效。若设置的参数浏览器不支持，RTC SDK 按照浏览器支持的参数范围进行采集和编码，并通过回调 onLocalVideoSizeChanged 通知采集的实际参数。
publishScreen	在当前所在房间内发布本地屏幕共享音视频流
unpublishScreen	停止将本地屏幕共享音视频流发布到当前所在房间中
subscribeScreen	订阅房间内指定的远端屏幕共享音视频流。该方法对自动订阅和手动订阅模式均适用。
unsubscribeScreen	取消订阅房间内指定的远端屏幕共享音视频流。该方法对自动订阅和手动订阅模式均适用。
onUserPublishScreen	房间内新增远端屏幕共享音视频流的回调。
onUserUnpublishScreen	房间内远端屏幕共享音视频流移除的回调。

混音

方法	描述
getAudioMixingManager	混音管理接口创建
startAudioMixing	开启混音
stopAudioMixing	停止播放音频文件
pauseAudioMixing	暂停播放音频文件
resumeAudioMixing	恢复播放音频文件
preloadAudioMixing	预加载指定音频文件到内存中
unloadAudioMixing	卸载指定音频文件
getAudioMixingVolume	获取音频文件的音量
setAudioMixingVolume	调节音频文件混音的音量大小。
getAudioMixingDuration	获取音频文件时长
getAudioMixingCurrentPosition	获取音频文件播放进度
setAudioMixingPosition	设置音频文件的起始播放位置
enableAudioMixingBuffer	启动 PCM 音频数据混音
disableAudioMixingBuffer	关闭 PCM 混音
pushAudioMixingBuffer	推送 PCM 音频数据用于混音
onAudioMixingStateChanged	音频混音文件播放状态改变事件
setAudioFrameCallback	开关混音音频帧 PCM 数据回调。

CDN 推流

方法	描述
defaultTranscoding	获取合流转推默认参数。
startLiveTranscoding	开启转推直播，并设置合流的视频视图布局和音频属性。
updateLiveTranscoding	更新转推直播参数。使用 startLiveTranscoding 启用转推直播功能后，使用此方法更新功能配置参数。
stopLiveTranscoding	停止转推直播。关于启动转推直播，参看 startLiveTranscoding。
onStreamMixingEvent	转推直播相关事件

自定义流处理

方法	描述
setVideoSourceType	设置向 SDK 输入的视频源默认使用内部采集。内部采集指：使用 RTC SDK 内置的视频采集机制进行视频采集。该方法进房前后均可调用。当你已调用 startVideoCapture 开启内部采集后，再调用此方法切换至自定义采集时，SDK 会自动关闭内部采集。当你调用此方法开启自定义采集，再调用此方法切换至内部采集时，必须再调用 startVideoCapture 手动开启内部采集。
setExternalVideoTrack	使用用户自定义的 videoTrack。调用本方法前必须先调用 setVideoSourceType 设置为自定义视频采集。
setAudioSourceType	设置向 SDK 输入的音频源默认使用内部采集。内部采集指：使用 RTC SDK 内置的音频采集机制进行音频采集。该方法进房前后均可调用。当你已调用 startAudioCapture 开启内部采集后，再调用此方法切换至自定义采集时，SDK 会自动关闭内部采集。当你调用此方法开启自定义采集，再调用此方法切换至内部采集时，必须再调用 startAudioCapture 手动开启内部采集。
setExternalAudioTrack	使用用户自定义的 audioTrack。调用本方法前必须先调用 setAudioSourceType 设置为自定义音频采集。
getLocalStreamTrack	获取本地用户的音频或者视频的 MediaStreamTrack。
getRemoteStreamTrack	获取已订阅的远端用户的音频或者视频的 MediaStreamTrack。
getPublicStreamTrack	获取已订阅的公共流的音频或者视频的 MediaStreamTrack。
setRemoteStreamRenderSync	设置远端音视频流是否同步渲染。你可以通过关闭音视频同步，达到超低端到端延时的效果。
setAudioFrameCallback	开关音频帧 PCM 数据回调。

消息

方法	描述
sendUserMessage	给房间内指定的用户发送点对点文本消息。若消息发送成功，则 userId 所指定的用户会收到 onUserMessageReceived 回调。
sendUserBinaryMessage	给房间内指定的用户发送点对点二进制消息。若消息发送成功，则 userId 所指定的用户会收到 onUserBinaryMessageReceived 回调。
sendRoomMessage	给房间内的所有其他用户群发文本消息。若消息发送成功，同一房间内的其他用户会收到 onRoomMessageReceived 回调。
sendRoomBinaryMessage	给房间内的所有其他用户群发二进制消息。若消息发送成功，同一房间内的其他用户会收到通过 onRoomBinaryMessageReceived 回调发送的消息
sendSEIMessage	通过视频帧发送 SEI 数据。在视频通话场景下，SEI 数据会随视频帧发送；在语音通话场景下，SDK 会自动生成一路 16px × 16px 的黑帧视频流用来发送 SEI 数据。
login	登录即时消息服务器。调用此方法登录后，可以向同 `appID` 下其他已登录用户发送文本或二进制消息。
logout	登出 RTS 服务器。调用本接口登出后，无法调用房间外消息以及端到服务器消息相关的方法或收到相关回调。
updateLoginToken	更新用户用于登录的 Token。Token 有一定的有效期，当 Token 过期时，需调用此方法更新登录的 Token 信息。
getPeerOnlineStatus	查询对端用户或本端用户的登录状态。在发送房间外消息之前，用户可以通过本接口了解对端用户是否登录，从而决定是否发送消息。也可以通过本接口查询自己查看自己的登录状态。
sendUserMessageOutsideRoom	给房间外指定的用户发送文本消息（P2P）
sendUserBinaryMessageOutsideRoom	给房间外指定的用户发送二进制消息（P2P）
setServerParams	设置业务服务器参数。调用 sendServerMessage 或 sendServerBinaryMessage 发送消息给业务服务器之前，必须需要设置有效签名和业务服务器地址。
sendServerMessage	客户端给业务服务器发送文本消息（P2Server）
sendServerBinaryMessage	客户端给业务服务器发送二进制消息（P2Server）
onUserMessageReceived	收到来自房间中其他用户通过 sendUserMessage 发来的点对点文本消息时，会收到此事件
onUserBinaryMessageReceived	收到来自房间中其他用户通过 sendUserBinaryMessage 发来的点对点二进制消息时，会收到此事件
onRoomMessageReceived	接收到房间内广播消息的事件。
onRoomBinaryMessageReceived	接收到房间内二进制广播消息的事件。
onSEIMessageReceived	接收到包含 SEI 数据的视频帧事件
onSEIStreamUpdate	包含 SEI 信息的流更新事件。在语音通话场景下，远端用户调用 sendSEIMessage 通过黑帧视频流发送 SEI 数据时，流的发送状态会通过此事件回调本地用户。你可以通过此事件判断携带 SEI 数据的视频帧为黑帧，从而不对该视频帧进行渲染。
onUserMessageReceivedOutsideRoom	接收到房间外消息的事件。
onUserBinaryMessageReceivedOutsideRoom	接收到房间外二进制消息的事件。
onServerParamsSetResult	设置接收客户端即时消息的服务器成功或失败时收到本事件。

字幕翻译服务

方法	描述
startSubtitle	识别或翻译房间内所有用户的语音，形成字幕。语音识别或翻译的结果会通过 onSubtitleMessageReceived 事件回调给你。调用该方法后，你会收到 onSubtitleStateChanged 回调，通知字幕是否开启。
stopSubtitle	关闭字幕。调用该方法后，你会收到 onSubtitleStateChanged 回调，通知字幕是否关闭。
updateSubtitleConfig	开启字幕翻译后切换源语种。
onSubtitleStateChanged	字幕状态发生改变回调。当你调用 startSubtitle 和 stopSubtitle 使字幕状态发生改变或字幕任务出现错误时，触发该回调。
onSubtitleMessageReceived	字幕相关信息回调。当你成功调用 startSubtitle 后会收到此回调，通知字幕的相关信息。

视频截图

方法	描述
takeLocalSnapshot	截取本地视频画面
takeRemoteSnapshot	截取远端视频画面

插件功能

方法	描述
registerExtension	注册插件。你可以通过插件实现基础美颜功能、虚拟背景功能、AI 降噪功能。