libvlc 3.x：如何使用回调API实现带音频的视频播放？

整体思路 #

要实现带音频的回调播放，需分别给视频、音频轨道绑定回调逻辑，同时解决媒体解析不完整导致的轨道错误问题，最后做好音画同步。

1. 解决示例的音频轨道报错问题 #

你碰到的avi demux error: no key frame set for track 1，本质是示例没等媒体解析完就初始化播放器，导致音频轨道信息未被正确加载。解决办法：

• 调用libvlc_media_player_play()前，必须用libvlc_media_parse_with_options()强制解析媒体，等解析完成后再处理播放器初始化。
• 不要手动禁用音频轨道，确保媒体对象加载了所有可用轨道。

2. 给音频设置回调函数 #

和视频回调逻辑一致，音频需要三个核心回调：

• 格式回调：通过libvlc_audio_set_format_callbacks()，libvlc会在此告知音频的采样率、通道数、格式等参数，你需在此初始化音频输出设备（比如SDL的音频设备）。
• 数据播放回调：通过libvlc_audio_set_callbacks()的play回调接收解码后的音频数据，直接将数据传入音频输出缓冲区即可。
• 停止回调：用于清理音频资源、停止播放。

实用代码片段参考：

// 音频格式协商回调
static void audio_format(void *user_data, char *chroma, unsigned int *rate, 
                        unsigned int *channels, unsigned int *samples, unsigned int *data_size) {
    // 指定兼容性较好的FL32（32位浮点）音频格式
    strcpy(chroma, "FL32");
    *rate = 44100;
    *channels = 2;
    *samples = 1024; // 单帧采样数，可按需调整
    *data_size = *channels * *samples * sizeof(float);
    // 此处可初始化SDL音频设备，示例代码：
    // SDL_AudioSpec spec = {0};
    // spec.freq = *rate;
    // spec.format = AUDIO_F32;
    // spec.channels = *channels;
    // spec.samples = *samples;
    // audio_device = SDL_OpenAudioDevice(NULL, 0, &spec, NULL, 0);
}

// 音频数据推送回调
static void audio_play(void *user_data, const void *samples, unsigned int count, int64_t pts) {
    // 将音频数据塞入SDL播放队列
    SDL_QueueAudio(audio_device, samples, count);
}

// 音频停止回调
static void audio_stop(void *user_data) {
    // 清空队列并暂停播放
    SDL_ClearQueuedAudio(audio_device);
    SDL_PauseAudioDevice(audio_device, 1);
}

// 初始化播放器时绑定音频回调
libvlc_audio_set_format_callbacks(media_player, audio_format, NULL);
libvlc_audio_set_callbacks(media_player, audio_play, audio_stop, NULL, NULL, user_data);

3. 实现音画同步 #

音画同步的核心是利用回调中的pts（时间戳）：

• 在视频渲染回调和音频播放回调中分别记录各自的pts值，以音频的pts为基准——如果视频pts小于音频，就延迟渲染；如果大于音频，就跳过部分帧追上节奏。
• 若使用SDL，可借助SDL的事件循环或定时器控制视频渲染帧率，确保与音频步调一致。

4. 正确处理媒体解析 #

针对示例无法运行的问题，必须确保媒体被完整解析，代码参考：

libvlc_instance_t *instance = libvlc_new(0, NULL);
libvlc_media_t *media = libvlc_media_new_path(instance, "你的媒体文件路径");
// 强制本地解析，超时1秒
libvlc_media_parse_with_options(media, libvlc_media_parse_local, 1000);
// 检查轨道是否加载成功
int track_count = libvlc_media_tracks_get_count(media);
for (int i = 0; i < track_count; i++) {
    libvlc_media_track_t *track = libvlc_media_tracks_get(media, i);
    if (track->i_type == libvlc_track_audio) {
        // 确认音频轨道存在
        printf("检测到音频轨道：%s\n", track->psz_codec);
    }
    libvlc_media_track_release(track);
}
// 关联媒体到播放器
libvlc_media_player_t *media_player = libvlc_media_player_new_from_media(media);

踩坑总结 #

• 音频轨道识别失败：务必等媒体解析完成再初始化播放器，不要急于调用播放接口。
• 音画不同步：始终以音频时间戳为基准调整视频，因为音频的时间感知更敏感。
• 程序崩溃：回调函数内不要执行阻塞操作（如UI渲染、文件IO），这类耗时操作需放到主线程处理，回调仅负责数据传递。

内容的提问来源于stack exchange，提问作者user2771324