如何使用Python识别音乐中的重复片段以实现无感知音频剪辑

你提到的生成波形图切片做图像匹配的思路具备可行性，但实际落地时精度低、算力损耗大，针对音频无痕剪辑找重复片段的需求，Python下的最优方案是直接对音频信号做特征提取和相似性匹配，具体实现如下：

核心逻辑 #

通过提取人耳听觉感知相关的音频特征，滑动窗口切分音频后计算窗口间的特征相似度，匹配出高度相似的重复片段，这类匹配结果的剪辑拼接完全不会被听众察觉痕迹。

• 优先选择MFCC特征匹配音色、节奏维度的重复，选择**色度特征(Chroma)**匹配旋律、和弦维度的重复
• 匹配阈值可根据需求调整，通常相似度超过0.95的片段剪辑后无感知

可运行参考代码 #

import librosa
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

# 加载音频，自动重采样到22050Hz，可自行调整采样率
audio_arr, sample_rate = librosa.load("目标音频路径.mp3", sr=22050)
# 提取13维MFCC特征，对人耳感知匹配度最高
mfcc_feat = librosa.feature.mfcc(y=audio_arr, sr=sample_rate, n_mfcc=13).T

# 滑动窗口配置：窗口长度1秒，步长0.5秒，可根据要找的重复片段长度调整
win_frame_len = int(sample_rate / 512) # librosa默认hop_length为512，1秒对应帧数
step_frame_len = win_frame_len // 2

win_feat_list = []
win_time_list = []
for idx in range(0, len(mfcc_feat) - win_frame_len, step_frame_len):
    # 拉平窗口特征为一维向量用于相似度计算
    current_win_feat = mfcc_feat[idx:idx+win_frame_len].flatten()
    win_feat_list.append(current_win_feat)
    # 记录窗口对应起止时间
    start_t = idx * 512 / sample_rate
    end_t = (idx + win_frame_len) * 512 / sample_rate
    win_time_list.append((start_t, end_t))

# 计算所有窗口的余弦相似度矩阵
similarity_matrix = cosine_similarity(win_feat_list)
# 相似度阈值，可根据实际效果上调或下调
sim_threshold = 0.95
# 过滤自身匹配、重复配对，得到所有重复窗口对
repeat_pair = np.argwhere((similarity_matrix > sim_threshold) & (np.tri(*similarity_matrix.shape, k=-1) == 1))

# 输出结果
for (win_a_idx, win_b_idx) in repeat_pair:
    a_start, a_end = win_time_list[win_a_idx]
    b_start, b_end = win_time_list[win_b_idx]
    print(f"匹配到重复片段：[ {a_start:.2f}s ~ {a_end:.2f}s ] 和 [ {b_start:.2f}s ~ {b_end:.2f}s ]，相似度：{similarity_matrix[win_a_idx][win_b_idx]:.2f}")

效果优化建议 #

• 要检测更长的重复片段，可将窗口长度调整到3~5秒
• 零散的小窗口匹配结果可通过聚类合并为连续的大段重复区间，减少冗余输出
• 需要可视化验证的话，可使用librosa的librosa.display.waveshow、librosa.display.specshow接口绘制两个匹配片段的波形、频谱图做对比

内容的提问来源于stack exchange，提问作者Regis