文档中心

获取原始音频数据

最近更新时间：2024.03.13 15:27:32

首次发布时间：2024.02.04 16:01:02

你可以获取格式为 PCM 的原始音频数据，对这些数据进行处理。例如，将数据存储到本地，实现客户端录制音频。

适用场景

本地音频录制，应用将原始音频数据存储到本地设备中。
客户端内容审核，获取声音数据并传入第三方 SDK，进行音频内容审核。

前提条件

你已经集成 RTC SDK，实现了基本的音视频通话。
支持获取原始音频数据的 SDK 详见API 及回调。

功能实现

以下时序图以 Android SDK 中的 API 名称为例。不同端的 SDK 中 API 或回调名称可能略有不同，以 API 及回调为准。

alt

1. 创建引擎

创建和初始化一个音视频引擎类。

如果你需要获取远端的音频数据，还需要加入房间并发布音频流，参考构建 RTC 应用获取详细步骤。

java

swift

cpp

rtcVideo = RTCVideo.createRTCVideo(this, Constants.APP_ID, videoEventHandler, null, null);

2. 继承 AudioFrameObserver

继承回调类，并实现里面的回调方法。

java

swift

cpp

private IAudioFrameObserver audioFrameObserver = new IAudioFrameObserver() {
    @Override
    public void onRecordAudioFrame(IAudioFrame audioFrame) {
        Log.i(TAG, "onRecordAudioFrame:");
    }

    @Override
    public void onPlaybackAudioFrame(IAudioFrame audioFrame) {
        Log.i(TAG, "onPlaybackAudioFrame:");
    }

    @Override
    public void onRemoteUserAudioFrame(RemoteStreamKey streamKey, IAudioFrame audioFrame) {
        Log.i(TAG, "onRemoteUserAudioFrame:");
    }

    @Override
    public void onMixedAudioFrame(IAudioFrame audioFrame) {
        Log.i(TAG, "onMixedAudioFrame:");
    }
};

// ByteRTCAudioFrameObserver
func onRecord(_ audioFrame: ByteRTCAudioFrame) {
//返回麦克风录制的音频数据,本端开启音频采集且注册音频回调 ByteRTCAudioFrameCallbackRecord 类型后即可收到该回调
// 你可以使用采集的麦克风数据进行音频录制，由于该数据是只读数据，因此无法修改，如果需要对音频数据进行自定义处理，请使用 registerAudioProcessor 接口
}

func onPlaybackAudioFrame(_ audioFrame: ByteRTCAudioFrame) {
// 返回订阅的所有远端用户混音后的音频数据。
// 本端开启音频采集且注册音频回调 ByteRTCAudioFrameCallbackPlayback 类型后即可收到该回调   
}

func onMixedAudioFrame(_ audioFrame: ByteRTCAudioFrame) {
//返回远端单个用户的音频数据.
//本端开启音频采集且注册音频回调 ByteRTCAudioFrameCallbackMixed 类型后即可收到该回调    
}

func onRemoteUserAudioFrame(_ streamKey: ByteRTCRemoteStreamKey, audioFrame: ByteRTCAudioFrame) {
//返回本地屏幕录制的音频数据
//本端开启音频采集且注册音频回调 ByteRTCAudioFrameCallbackRemoteUser 类型后即可收到该回调    
}

class RawAudioDataObserver : public bytertc::IAudioFrameObserver
{
public:
    RawAudioDataObserver();
    ~RawAudioDataObserver();

    virtual void onRecordAudioFrameOriginal(const bytertc::IAudioFrame& audio_frame){
    //内部使用
    }
    virtual void onRecordAudioFrame(const bytertc::IAudioFrame& audio_frame) {
    //返回麦克风录制的音频数据,本端开启音频采集且注册音频回调 kAudioFrameCallbackRecord 类型后即可收到该回调
    // 回调函数是在 SDK 内部线程（非 UI 线程）同步抛出来的，请不要做耗时操作或直接操作 UI，否则可能导致 app 崩溃
    // 你可以使用采集的麦克风数据进行音频录制，由于该数据是只读数据，因此无法修改，如果需要对音频数据进行自定义处理，请使用 registerAudioProcessor 接口
    }
    virtual void onPlaybackAudioFrame(const bytertc::IAudioFrame& audio_frame) {
    // 返回订阅的所有远端用户混音后的音频数据。
    // 本端开启音频采集且注册音频回调 kAudioFrameCallbackPlayback 类型后即可收到该回调
    }
    virtual void onRemoteUserAudioFrame(const bytertc::RemoteStreamKey& stream_info, const bytertc::IAudioFrame& audio_frame) {
    //返回远端单个用户的音频数据.
    //本端开启音频采集且注册音频回调 kAudioFrameCallbackRemoteUser 类型后即可收到该回调
    }
    virtual void onMixedAudioFrame(const bytertc::IAudioFrame& audio_frame) {
    //返回本地麦克风录制和订阅的所有远端用户混音后的音频数据
    //本端开启音频采集且注册音频回调 kAudioFrameCallbackMixed 类型后即可收到该回调
    }

    virtual void onRecordScreenAudioFrame(const bytertc::IAudioFrame& audio_frame){
    //返回本地屏幕录制的音频数据
    //本端开启音频采集且注册音频回调 kAudioFrameCallbackRecordScreen 类型后即可收到该回调
    }

private:
};

3. 开启回调

通过 registerAudioFrameObserver 注册音频数据回调。
调用 enableAudioFrameCallback，为需要收到的音频数据设置回调格式。每次调用只能设置其中一种音频数据的格式。

目标音频数据为录制、回放和混音时，需要在音频参数格式 format 中指定具体的采样率和声道数。
目标音频数据为远端音频流时，音频参数格式 format 需要设置为自动。

在 RawAudioDataObserver 中接收对应类型的音频回调数据，你可以在回调数据中实现音频录制等操作。

java

swift

cpp

// 注册音频数据回调
rtcVideo.registerAudioFrameObserver(audioFrameObserver);
//设置回调音频格式
AudioFormat format = new AudioFormat(AudioSampleRate.AUDIO_SAMPLE_RATE_48000, AudioChannel.AUDIO_CHANNEL_MONO);
// 开启本地麦克风录制的音频数据回调
rtcVideo.enableAudioFrameCallback(AudioFrameCallbackMethod.AUDIO_FRAME_CALLBACK_RECORD, format);
// 开启本地麦克风录制和订阅的远端所有用户混音后的音频数据回调
rtcVideo.enableAudioFrameCallback(AudioFrameCallbackMethod.AUDIO_FRAME_CALLBACK_MIXED, format);
// 开启订阅的远端所有用户混音后的音频数据回调
rtcVideo.enableAudioFrameCallback(AudioFrameCallbackMethod.AUDIO_FRAME_CALLBACK_PLAYBACK, format);

//设置回调音频格式
AudioFormat audioFormat = new AudioFormat(AudioSampleRate.AUDIO_SAMPLE_RATE_AUTO, AudioChannel.AUDIO_CHANNEL_AUTO);
// 开启订阅的远端每个用户混音前的音频数据回调
rtcVideo.enableAudioFrameCallback(AudioFrameCallbackMethod.AUDIO_FRAME_CALLBACK_REMOTE_USER, audioFormat);

// 注册音频数据回调
self.rtcVideo!.registerAudioFrameObserver(self)

//设置回调音频格式，以麦克风录制的音频数据回调为例
let audioFormat = ByteRTCAudioFormat.init()
audioFormat.sampleRate = .rate44100 //采样率
audioFormat.channel = .stereo //声道数
audioFormat.samplesPerCall = 0 //单次回调的音频帧中包含的采样点数
//开启指定格式的回调，以麦克风录制的音频数据回调为例
self.rtcVideo?.enableAudioFrameCallback(.record, format: audioFormat)

// 注册音频数据回调
observer = new RawAudioDataObserver();
video->registerAudioFrameObserver(observer);
//设置回调音频格式，以麦克风录制的音频数据回调为例
bytertc::AudioFormat format;
format.channel = bytertc::kAudioChannelStereo; //声道数
format.sample_rate = bytertc::kAudioSampleRate48000; //采样率
format.samples_per_call = 480; //单次回调的音频帧中包含的采样点数
//开启指定格式的回调，以麦克风录制的音频数据回调为例
ret = m_video->enableAudioFrameCallback(bytertc::AudioFrameCallbackMethod::kAudioFrameCallbackRecord, format);

4. 关闭回调

不再需要音频数据时，给 registerAudioFrameObserver 传空可关闭回调。

java

swift

cpp

rtcVideo.disableAudioFrameCallback(AudioFrameCallbackMethod.AUDIO_FRAME_CALLBACK_RECORD);
rtcVideo.disableAudioFrameCallback(AudioFrameCallbackMethod.AUDIO_FRAME_CALLBACK_MIXED);
rtcVideo.disableAudioFrameCallback(AudioFrameCallbackMethod.AUDIO_FRAME_CALLBACK_PLAYBACK);
rtcVideo.disableAudioFrameCallback(AudioFrameCallbackMethod.AUDIO_FRAME_CALLBACK_REMOTE_USER);

5. 销毁引擎

通话结束后，销毁音视频引擎。

如果用户已经进入房间，则需要在销毁所有房间实例后再销毁音视频引擎。

java

swift

cpp

RTCVideo.destroyRTCVideo();

示例项目

参考以下项目获取完整代码。

API 及回调

以下客户端 SDK 均支持获取原始音频数据。你可以根据上文中的描述和实例，使用不同的 SDK，在不同的端上实现这个功能。

说明：表格中的 macOS API 接口为 Objective-C，而示例项目中的 macOS 项目使用的是 Windows SDK 中的 API 接口。

平台	Android	iOS	macOS	Windows	Linux	Electron	Unity
注册音频数据回调观察者	`registerAudioFrameObserver`	`registerAudioFrameObserver:`	`registerAudioFrameObserver:`	`registerAudioFrameObserver`	`registerAudioFrameObserver`	无	无
设置并开启指定的音频数据帧回调	`enableAudioFrameCallback`	`enableAudioFrameCallback:format:`	`enableAudioFrameCallback:format:`	`enableAudioFrameCallback`	`enableAudioFrameCallback`	`enableAudioFrameCallback`	`EnableAudioFrameCallback`
关闭音频数据帧回调	`disableAudioFrameCallback`	`disableAudioFrameCallback:`	`disableAudioFrameCallback:`	`disableAudioFrameCallback`	`disableAudioFrameCallback`	`disableAudioFrameCallback`	`DisableAudioFrameCallback`
音频数据回调回调	`IAudioFrameObserver`	`ByteRTCAudioFrameObserver`	`ByteRTCAudioFrameObserver`	`IAudioFrameObserver`	`IAudioFrameObserver`	`onRecordAudioFrame` `onPlaybackAudioFrame` `onRemoteUserAudioFrame` `onMixedAudioFrame` `onRecordScreenAudioFrame`	`OnRecordAudioFrameEventHandler` `OnPlaybackAudioFrameEventHandler` `OnRemoteUserAudioFrameEventHandler` `OnMixedAudioFrameEventHandler` `OnRecordScreenAudioFrameEventHandler`

常见问题

Q1：调用开启接口成功，但收不到回调

A：确认调用 enableAudioFrameCallback 时传入的参数 method 和 format 是否匹配，参考以下表格。

参数含义	参数名称	参数取值组合 1	参数取值组合 2
音频回调方法	`method`	`0`: 本地麦克风 `1`: 所有远端混音 `2`: 本地与远端混音	`3`：单个远端用户音频流
音频格式	`format`	指定采样率和声道	`-1`: 自动

Q2：如何将音频数据处理后发送到远端

A：通过本文提到的回调获取数据，进行处理后，不会影响发送到远端的数据。如果你希望处理音频数据后，送回 RTC 进行编码和发送，应使用 registerAudioProcessor 方法，参见自定义音频处理。

适用场景

前提条件

功能实现

1. 创建引擎

2. 继承 AudioFrameObserver

3. 开启回调

4. 关闭回调

5. 销毁引擎

示例项目

API 及回调

常见问题

Q1：调用开启接口成功，但收不到回调

Q2：如何将音频数据处理后发送到远端

实时音视频

获取原始音频数据

适用场景

前提条件

功能实现

1. 创建引擎

2. 继承 AudioFrameObserver

3. 开启回调

4. 关闭回调

5. 销毁引擎

示例项目

API 及回调

常见问题

Q1：调用开启接口成功，但收不到回调

Q2：如何将音频数据处理后发送到远端