基于moviepy的异常枪声检测函数全帧无异常问题排查求助

你的代码核心问题在于降采样方式错误，导致漏掉了帧内的音频峰值，进而出现全帧无枪声的误判：

1. 错误根源：单采样点降采样丢失关键峰值 #

视频1帧对应44100/25=1764个音频采样点，但你用signal[::downsampling_factor]直接取每隔1764个采样点的单个值——相当于只检查每帧对应音频段的第一个采样点。而枪声属于短脉冲信号，峰值可能出现在这段音频的任意位置，刚好没被取到的话就会误判为无枪声。

2. 修复方案 #

核心思路 #

不再取单采样点，而是对每帧对应的完整音频段计算最大振幅，只要这段内有采样点超过阈值，就标记为检测到枪声。

修复后的代码 #

import pandas as pd
from moviepy.editor import VideoFileClip

def create_shot(PATH):
    rate = 44100
    fps = 25
    clip = VideoFileClip(PATH)
    signal = clip.audio.to_soundarray()  # 返回[-1,1]范围的标准化float32数组
    
    # 处理双通道：若为立体声，取左右声道的最大值（保留峰值）或平均值
    if signal.ndim == 2:
        signal = signal.max(axis=1)
    
    # 计算每帧对应的音频采样点数
    samples_per_frame = int(rate / fps)
    total_frames = int(len(signal) / samples_per_frame)
    
    # 逐帧计算音频段的最大振幅
    frame_peaks = []
    for i in range(total_frames):
        start_idx = i * samples_per_frame
        end_idx = start_idx + samples_per_frame
        frame_audio = signal[start_idx:end_idx]
        peak_amp = abs(frame_audio).max()
        frame_peaks.append(peak_amp)
    
    # 基于峰值检测枪声
    threshold = 0.25
    shot_detected = [1 if amp >= threshold else 0 for amp in frame_peaks]
    
    # 生成结果DataFrame
    shot_df = pd.DataFrame({
        'frame_count': range(1, total_frames + 1),
        'shot_detected': shot_detected,
        'peak_amplitude': frame_peaks
    })
    
    clip.close()  # 释放视频资源，避免内存泄漏
    return shot_df

额外优化提示 #

• 可以打印frame_peaks的实际数值，确认阈值0.25是否匹配实际音频的峰值范围；
• 若视频音频时长和帧计数不完全对齐，可考虑用np.array_split替代手动分割，避免截断末尾不完整的帧。

内容的提问来源于stack exchange，提问作者iw2fs