Python实现去除已编辑音频与未编辑视频差异问题求助

你的代码核心逻辑和实现都存在问题，先拆解错误点：

• 从视频提取音频的代码完全无效：sf.read(audio.fps==rate1)是把布尔值传给了音频读取函数，根本读不到有效数据，应该用moviepy的audio.to_soundarray()获取视频音频的数值数组。
• 思路完全偏离需求：你要的是剪掉视频中对应音频错误的片段，但原代码在做音频数值减法，最后相当于把编辑好的音频还原成了原始音频，完全达不到裁剪视频的目的。

正确实现思路 #

编辑后的音频是原始视频音频的"精简版"（去掉了错误片段），我们需要先找到编辑后音频的每一段在原始音频中的对应时间位置，然后保留视频中这些位置的片段，其余部分剪掉拼接成新视频。这里用**动态时间规整（DTW）**来对齐两个音频，精准匹配对应片段。

修正后的代码 #

import numpy as np
import moviepy.editor as mp
from librosa.feature import mfcc
from librosa.core import load
from dtw import dtw  # 先安装依赖：pip install dtw-python

def align_audio_and_cut_video(edited_audio_path, video_path, output_path="output.mp4"):
    # 加载编辑后的音频
    edited_audio, sr_edited = load(edited_audio_path, sr=None)
    # 加载视频中的原始音频
    video_clip = mp.VideoFileClip(video_path)
    original_audio = video_clip.audio.to_soundarray(fps=sr_edited)
    
    # 立体声转单声道（取第一声道，不影响对齐效果）
    if len(original_audio.shape) > 1:
        original_audio = original_audio[:, 0]
    if len(edited_audio.shape) > 1:
        edited_audio = edited_audio[:, 0]

    # 提取MFCC特征（音频的特征表示，适合做匹配对齐）
    mfcc_original = mfcc(y=original_audio, sr=sr_edited, n_mfcc=13)
    mfcc_edited = mfcc(y=edited_audio, sr=sr_edited, n_mfcc=13)

    # 用DTW对齐两个音频的特征路径
    _, _, _, path = dtw(mfcc_original.T, mfcc_edited.T, dist=lambda x, y: np.linalg.norm(x - y, ord=1))
    # 提取原始音频中对应编辑后音频的索引点
    original_indices = [p[0] for p in path]
    
    # 计算时间步长，把索引转成时间戳
    time_step = 1 / sr_edited
    # 整理出连续的保留片段（过滤DTW路径的重复点）
    segments = []
    start_idx = original_indices[0]
    for i in range(1, len(original_indices)):
        # 索引不连续时，标记一个片段结束
        if original_indices[i] != original_indices[i-1] + 1:
            end_idx = original_indices[i-1]
            segments.append((start_idx * time_step, end_idx * time_step))
            start_idx = original_indices[i]
    # 加上最后一个片段
    segments.append((start_idx * time_step, original_indices[-1] * time_step))

    # 合并连续/重叠的片段（容错0.1秒，处理DTW路径的微小跳跃）
    merged_segments = []
    for seg in segments:
        if not merged_segments:
            merged_segments.append(seg)
        else:
            last_start, last_end = merged_segments[-1]
            if seg[0] <= last_end + 0.1:
                merged_segments[-1] = (last_start, max(last_end, seg[1]))
            else:
                merged_segments.append(seg)

    # 裁剪视频片段并拼接
    final_clips = []
    for start, end in merged_segments:
        final_clips.append(video_clip.subclip(start, end))
    final_video = mp.concatenate_videoclips(final_clips)

    # 保存最终视频
    final_video.write_videofile(output_path, fps=video_clip.fps, codec="libx264", audio_codec="aac")
    # 释放资源
    video_clip.close()
    final_video.close()

# 示例调用
align_audio_and_cut_video("audio1.wav", "video2.mp4")

注意事项 #

1. 先安装依赖包：pip install moviepy librosa dtw-python numpy
2. 代码自动处理立体声转单声道，不影响对齐精度
3. 0.1秒容错可根据实际音频的编辑精度调整，避免遗漏或重复裁剪
4. DTW对齐对同期录制的音频匹配度极高，即使有轻微环境音差异也能正常工作

内容的提问来源于stack exchange，提问作者Nashit