如何统计特定音频在长音频中的重复次数？Librosa代码优化求助

核心问题分析 #

1. 计算量爆炸导致超时：原代码使用np.correlate直接计算两个音频的全交叉相关，时间复杂度为O(N*M)（N为长音频采样点数量，M为广告音频采样点数量）。如果电台录音是小时级别的，比如1小时16kHz音频有5760000个采样点，30秒广告有480000个采样点，直接相关的计算量约为2.7e12次操作，完全无法在合理时间内完成。
2. 逻辑完全错误：原代码仅找到一个最大相关的延迟，再通过时长除法计算重复次数，这假设广告从该延迟开始连续重复播放，完全不符合电台广告分散出现的实际场景，且根本未检测所有广告出现位置，也没有用到真正的音频指纹技术。
3. 未处理采样率不一致：若两个音频采样率不同，直接交叉相关的结果毫无意义，原代码未做采样率统一处理。
4. 无预处理优化：未对音频做降采样、降噪等操作，进一步增加了计算量和匹配误差。

优化方案 #

思路1：用FFT加速交叉相关（快速解决超时） #

基于FFT的交叉相关时间复杂度为O((N+M)log(N+M))，比直接相关快几个数量级。同时修正逻辑，通过阈值检测所有有效匹配位置，而非仅取最大值。

思路2：实现真正的音频指纹检测（鲁棒性更强） #

音频指纹通过提取音频的特征哈希，能在嘈杂环境（电台背景音、信号损耗）下准确匹配，且适合长音频的快速检索。

优化后的代码示例 #

方案1：FFT加速交叉相关（快速验证） #

import numpy as np
import librosa

def count_ad_occurrences(ref_file, longer_file, threshold=0.8, target_sr=16000):
    # 统一采样率并降采样，减少计算量
    ref_audio, _ = librosa.load(ref_file, sr=target_sr, mono=True)
    longer_audio, _ = librosa.load(longer_file, sr=target_sr, mono=True)
    
    # 归一化音频，消除音量差异影响
    ref_audio = ref_audio / np.max(np.abs(ref_audio))
    longer_audio = longer_audio / np.max(np.abs(longer_audio))
    
    # 用FFT计算快速交叉相关
    signal_len = len(ref_audio) + len(longer_audio) - 1
    fft_ref = np.fft.rfft(ref_audio, n=signal_len)
    fft_longer_rev = np.fft.rfft(longer_audio[::-1], n=signal_len)
    corr = np.fft.irfft(fft_ref * fft_longer_rev)
    
    # 提取超过阈值的峰值，避免重复计数（设置最小间隔为广告时长的90%）
    ref_duration = len(ref_audio) / target_sr
    min_interval = int(ref_duration * target_sr * 0.9)
    
    peaks = np.where(corr > threshold * np.max(corr))[0]
    valid_peaks = []
    last_peak = -np.inf
    for peak in peaks:
        if peak - last_peak > min_interval:
            valid_peaks.append(peak)
            last_peak = peak
    
    return len(valid_peaks)

# 使用示例
ref_file = 'house_ad.mp3'
longer_file = 'long_audio.mp3'
occurrences = count_ad_occurrences(ref_file, longer_file)
print(f'广告出现次数: {occurrences}')

方案2：音频指纹实现（鲁棒性更强） #

import numpy as np
import librosa
from collections import defaultdict

def generate_fingerprints(audio, sr=16000, n_fft=2048, hop_length=512, top_n=10):
    # 提取梅尔频谱并转对数刻度
    mel_spec = librosa.feature.melspectrogram(y=audio, sr=sr, n_fft=n_fft, hop_length=hop_length)
    log_mel = librosa.power_to_db(mel_spec, ref=np.max)
    
    # 生成指纹：记录每个时间帧的Top-N频率峰值对应的时间点
    fingerprints = defaultdict(list)
    for time_idx in range(log_mel.shape[1]):
        frame = log_mel[:, time_idx]
        top_freq_indices = np.argsort(frame)[-top_n:]
        for freq_idx in top_freq_indices:
            fingerprints[(freq_idx,)].append(time_idx)
    
    return fingerprints, hop_length

def match_fingerprints(ref_fingerprints, longer_fingerprints, hop_length, sr, ref_duration):
    # 统计指纹匹配的时间差
    match_counts = defaultdict(int)
    for key, ref_times in ref_fingerprints.items():
        if key not in longer_fingerprints:
            continue
        longer_times = longer_fingerprints[key]
        for rt in ref_times:
            for lt in longer_times:
                time_delta = lt - rt
                match_counts[time_delta] += 1
    
    # 筛选有效匹配：匹配次数需达到广告时长对应帧数量的50%
    min_match_count = int(ref_duration * sr / hop_length * 0.5)
    valid_deltas = [delta for delta, cnt in match_counts.items() if cnt >= min_match_count]
    
    # 去重：相同广告的匹配间隔需大于广告时长的90%
    min_interval = int(ref_duration * sr / hop_length * 0.9)
    valid_deltas = sorted(valid_deltas)
    unique_deltas = []
    last_delta = -np.inf
    for delta in valid_deltas:
        if delta - last_delta > min_interval:
            unique_deltas.append(delta)
            last_delta = delta
    
    return len(unique_deltas)

def count_ad_occurrences_fingerprint(ref_file, longer_file, target_sr=16000):
    # 加载并预处理音频
    ref_audio, _ = librosa.load(ref_file, sr=target_sr, mono=True)
    longer_audio, _ = librosa.load(longer_file, sr=target_sr, mono=True)
    
    ref_audio = ref_audio / np.max(np.abs(ref_audio))
    longer_audio = longer_audio / np.max(np.abs(longer_audio))
    
    ref_duration = len(ref_audio) / target_sr
    
    # 生成音频指纹
    ref_fp, hop_length = generate_fingerprints(ref_audio, sr=target_sr)
    longer_fp, _ = generate_fingerprints(longer_audio, sr=target_sr, hop_length=hop_length)
    
    # 匹配指纹并计数
    return match_fingerprints(ref_fp, longer_fp, hop_length, target_sr, ref_duration)

# 使用示例
ref_file = 'house_ad.mp3'
longer_file = 'long_audio.mp3'
occurrences = count_ad_occurrences_fingerprint(ref_file, longer_file)
print(f'广告出现次数: {occurrences}')

额外优化建议 #

• 降采样：若广告以语音为主，可将采样率降到16kHz甚至8kHz，大幅减少计算量。
• 降噪：对长音频做简单降噪（如librosa.effects.preemphasis或第三方库noisereduce），提升匹配准确性。
• 分块处理：若长音频为数小时级别，可分块处理避免内存溢出。
• 阈值调整：根据实际音频的信噪比调整匹配阈值，减少误检和漏检。

内容的提问来源于stack exchange，提问作者Sylvestr Semeshko