使用mp4parser合并含无音轨视频时音频错位问题求助

我清楚你现在碰到的麻烦——用mp4parser合并多个视频时，只要其中有一个视频没有音轨，合并后的音频就会错位，跑到不对的视频片段上。看了你贴的代码，问题出在你把所有音轨和视频轨分别收集后直接合并，忽略了“每个视频片段必须对应一段音频（哪怕是静音）”的匹配要求。

问题根源 #

你的代码逻辑是把所有带vide标识的视频轨归为一组，所有带soun标识的音频轨归为另一组，然后各自用AppendTrack合并。但如果某个视频没有音轨，这一组里就少了一段音频，合并后的音频会直接把后面的音频提前接上，导致音频和视频的时序完全对不上。举个例子：

• 视频序列：A（有音轨）→ B（无音轨）→ C（有音轨）
• 合并后的音频：A的音轨直接连C的音轨
• 结果就是C的音频会对应到B的视频上，出现错位

修复方案 #

核心思路是：给每个没有音轨的视频生成一段和视频时长一致的静音音频轨，保证每个视频片段都有对应的音频轨，这样合并时音轨和视频轨的时序就能完全匹配。

修改后的代码如下：

LinkedList<Track> videoTracks = new LinkedList<>();
LinkedList<Track> audioTracks = new LinkedList<>();

for (Movie m : inMovies) {
    // 先找到当前视频的视频轨
    Track videoTrack = null;
    for (Track t : m.getTracks()) {
        if (t.getHandler().equals("vide")) {
            videoTrack = t;
            videoTracks.add(videoTrack);
            break;
        }
    }

    // 查找当前视频的音频轨，没有则生成静音轨
    Track audioTrack = null;
    for (Track t : m.getTracks()) {
        if (t.getHandler().equals("soun")) {
            audioTrack = t;
            break;
        }
    }

    // 如果没有音轨但有视频轨，生成对应时长的静音轨
    if (audioTrack == null && videoTrack != null) {
        // 静音轨的参数可以根据实际需求调整，这里用常见的44.1kHz双声道
        long videoDuration = videoTrack.getDuration();
        int sampleRate = 44100;
        int channels = 2;
        audioTrack = new SilentTrackImpl(
                videoTrack.getMetaData(),
                videoDuration,
                sampleRate,
                channels
        );
    }

    if (audioTrack != null) {
        audioTracks.add(audioTrack);
    }
}

Movie result = new Movie();
if (!audioTracks.isEmpty()) {
    result.addTrack(new AppendTrack(audioTracks.toArray(new Track[audioTracks.size()])));
}
if (!videoTracks.isEmpty()) {
    result.addTrack(new AppendTrack(videoTracks.toArray(new Track[videoTracks.size()])));
}

关键细节 #

• SilentTrackImpl是mp4parser内置的类，专门用来生成静音音频轨，它会根据传入的视频时长生成对应长度的静音，确保音轨和视频轨的时长完全对齐
• 你可以根据实际视频的音频参数（比如采样率、声道数）调整静音轨的参数，避免出现音频格式不兼容的问题
• 另外我已经在mp4parser的GitHub仓库提交了相关issue，后续可以关注官方的修复进展

内容的提问来源于stack exchange，提问作者Manish Kumar