如何提取视频音频流并检测、量化音高异常与变化？

一、先确认FFmpeg提取音频的常用命令（补充参考） #

• 提取无压缩单声道WAV（后续处理更高效）：

  ffmpeg -i input_video.mp4 -vn -ac 1 -ar 44100 -acodec pcm_s16le output_audio.wav
  

  参数说明：-vn忽略视频流，-ac 1转单声道，-ar 44100设置采样率，pcm_s16le输出无压缩格式，避免音质损失。

二、Python工具实现音高检测与量化 #

1. Librosa（通用音频处理首选） #

Librosa提供成熟的基频（F0）提取函数，能直接生成逐帧音高序列，是量化音高变化的核心工具。

• 安装：pip install librosa
• 基础代码示例：

  import librosa
  import numpy as np
  
  # 加载音频文件
  y, sr = librosa.load('output_audio.wav', sr=44100)
  # 提取带置信度的基频序列（过滤静音帧）
  f0, voiced_flag, _ = librosa.pyin(y, fmin=librosa.note_to_hz('C2'), fmax=librosa.note_to_hz('C7'))
  
  # 只保留有声音的帧数据
  voiced_f0 = f0[voiced_flag]
  # 计算相邻帧的音高变化幅度
  pitch_changes = np.diff(voiced_f0)
  
  # 量化整体变化的统计指标
  avg_change = np.mean(np.abs(pitch_changes))
  max_change = np.max(np.abs(pitch_changes))
  change_std = np.std(pitch_changes)
  
  # 异常检测：用3倍标准差识别突变
  outlier_threshold = np.mean(pitch_changes) + 3 * change_std
  pitch_outliers = pitch_changes[np.abs(pitch_changes) > outlier_threshold]
  

  说明：pyin是基于概率的音高检测算法，比传统YIN更准确；voiced_flag可过滤静音帧，避免干扰统计结果。

2. Parselmouth（Praat的Python接口，专业语音学场景） #

Praat是语音学领域的经典工具，Parselmouth能直接调用其成熟的音高分析逻辑，适合需要高精度的专业场景。

• 安装：pip install praat-parselmouth
• 基础代码示例：

  import parselmouth
  import numpy as np
  
  # 加载音频
  sound = parselmouth.Sound('output_audio.wav')
  # 生成音高分析对象
  pitch = sound.to_pitch()
  # 获取逐帧基频值，过滤静音帧（F0=0的帧）
  f0_values = pitch.selected_array['frequency']
  voiced_f0 = f0_values[f0_values > 0]
  
  # 计算音高变化
  pitch_changes = np.diff(voiced_f0)
  
  # 量化指标
  avg_change = np.mean(np.abs(pitch_changes))
  change_std = np.std(pitch_changes)
  
  # 异常检测：用四分位距法（对极端值更鲁棒）
  q1, q3 = np.percentile(pitch_changes, [25, 75])
  iqr = q3 - q1
  lower_bound = q1 - 1.5 * iqr
  upper_bound = q3 + 1.5 * iqr
  outliers = pitch_changes[(pitch_changes < lower_bound) | (pitch_changes > upper_bound)]
  

  说明：Praat的音高算法经过大量语音学验证，适合处理专业语音数据；四分位距法能有效避免单极端值干扰。

3. Crepe（深度学习驱动，噪音场景适配） #

Crepe基于CNN模型做音高检测，准确率远超传统算法，适合带背景噪音、复杂环境的音频。

• 安装：pip install crepe
• 基础代码示例：

  import crepe
  import numpy as np
  
  # 提取音高序列，用维特比算法平滑结果
  time, frequency, confidence, _ = crepe.predict('output_audio.wav', sr=44100, viterbi=True)
  # 过滤置信度低的帧（仅保留置信度>0.5的有效数据）
  confident_f0 = frequency[confidence > 0.5]
  
  # 计算音高变化
  pitch_changes = np.diff(confident_f0)
  
  # 量化指标
  avg_change = np.mean(np.abs(pitch_changes))
  max_change = np.max(np.abs(pitch_changes))
  
  # 异常检测：结合置信度和变化幅度
  high_conf_outliers = pitch_changes[(confidence[1:] > 0.8) & (np.abs(pitch_changes) > 20)]
  

  说明：viterbi=True会对音高序列做平滑处理，减少无意义跳变；适合噪音较大的视频音频（比如综艺、户外场景）。

三、核心思路总结 #

量化音高变化 #

1. 提取逐帧基频（F0）序列，过滤静音或低置信度帧；
2. 计算相邻帧的F0差值，得到每帧的音高变化幅度；
3. 用统计指标量化整体变化：平均变化幅度、变化幅度标准差、最大变化幅度、音高整体标准差（反映全局波动范围）。

异常检测 #

1. 统计阈值法：用3倍标准差、四分位距识别离群值；
2. 上下文对比：检测连续多帧的音高突变，或与周围帧音高偏差超过设定比例（比如20%）；
3. 置信度结合：过滤检测置信度低的帧，避免误判噪音或静音为异常。

内容的提问来源于stack exchange，提问作者muraliv