频谱图与特征尺寸不匹配原因及注释Reshape后识别异常排查

问题描述 #

• 提取的频谱图（spectrogram）与训练好的模型特征尺寸不匹配，已尝试两种处理：
  • 固定频谱图长度为2000：spectrogram = librosa.util.fix_length(spectrogram, size=2000, axis=1)
  • 调整频谱图形状以匹配模型预期：spectrogram = spectrogram.reshape(1, -1)
• 注释掉上述reshape代码后，识别出的歌曲始终为同一首

问题根源分析 #

1. 特征尺寸不匹配的核心原因 #

代码存在多个逻辑错误导致维度不一致：

• 数据集加载缩进错误：features和labels的初始化与填充代码被缩进在os.listdir的循环内，导致每遍历一个文件就会重置特征集，最终训练用的features仅包含最后一个文件的指纹，特征维度完全异常。
• 训练与推理特征逻辑不一致：训练时直接加载预存的fingerprint，但推理时实时计算spectrogram，两者的特征生成流程未对齐，强行reshape无法保证特征语义匹配。
• 窗口长度计算错误：window_length = features.shape[1] // hop_size的逻辑完全不合理——features.shape[1]是扁平化后的特征数，和音频帧的hop_size没有关联，导致实时采集的音频长度与训练样本的音频长度不匹配。

2. 识别结果固定的原因 #

注释reshape后，输入模型的特征维度与训练时的特征维度不匹配，加上训练数据集仅包含单个样本（缩进错误导致），模型只能输出该样本对应的标签；即使数据集正常，维度不匹配也会导致模型输出异常。

修正后的代码 #

import os
import librosa
import numpy as np
from sklearn.ensemble import RandomForestClassifier
import pyaudio
from collections import Counter

# 数据集目录（使用原始字符串避免转义问题）
dataset_directory = r"S:\Dawlance\laudio_fingerprints"

# 统一特征生成函数：训练和推理共用同一逻辑
def generate_fingerprint(audio_data, sample_rate=44100, n_fft=2048, target_spec_length=2000):
    # 如果输入是文件路径则加载音频，否则直接处理音频数组
    if isinstance(audio_data, str):
        y, sr = librosa.load(audio_data, sr=sample_rate)
    else:
        y = audio_data
        sr = sample_rate
    # 生成频谱图并固定长度
    spectrogram = np.abs(librosa.stft(y, n_fft=n_fft))
    spectrogram = librosa.util.fix_length(spectrogram, size=target_spec_length, axis=1)
    # 扁平化特征
    return spectrogram.flatten()

# 加载数据集
features = []
labels = []

for file in os.listdir(dataset_directory):
    if file.endswith(".npy"):
        # 加载预存的指纹并确保格式统一
        fingerprint = np.load(os.path.join(dataset_directory, file))
        if len(fingerprint.shape) > 1:
            fingerprint = fingerprint.flatten()
        label = file.split(".")[0]
        features.append(fingerprint)
        labels.append(label)
        print(f"加载标签: {label}，指纹维度: {fingerprint.shape}")

# 转换为numpy数组并检查维度
features = np.array(features)
labels = np.array(labels)
print(f"训练集特征形状: {features.shape}")

# 训练模型
model = RandomForestClassifier(n_estimators=100)
model.fit(features, labels)

# 实时音频参数配置
sample_rate = 44100
chunk_size = 1024
n_fft = 2048
target_spec_length = 2000
# 反推生成目标长度频谱图所需的音频总长度
required_audio_length = n_fft + (target_spec_length - 1)*512
# 计算需要的音频chunk数量
window_length = int(np.ceil(required_audio_length / chunk_size))

# 初始化音频输入流
audio = pyaudio.PyAudio()
stream = audio.open(
    format=pyaudio.paFloat32,
    channels=1,
    rate=sample_rate,
    input=True,
    frames_per_buffer=chunk_size
)

print("开始监听...")

frames = []
recognition_buffer = []
# 设定连续识别一致的阈值，避免单次误差
buffer_threshold = 3

while True:
    try:
        # 读取音频chunk
        data = stream.read(chunk_size)
        audio_array = np.frombuffer(data, dtype=np.float32)
        frames.append(audio_array)

        # 收集到足够长度的音频后处理
        if len(frames) == window_length:
            # 拼接并截取到所需的音频长度
            audio_full = np.concatenate(frames)[:required_audio_length]
            # 生成与训练时一致的特征
            spectrogram_flat = generate_fingerprint(audio_full, sample_rate, n_fft, target_spec_length)
            spectrogram_flat = spectrogram_flat.reshape(1, -1)

            print(f"实时特征维度: {spectrogram_flat.shape[1]}，训练集特征维度: {features.shape[1]}")

            # 检查维度匹配
            if spectrogram_flat.shape[1] != features.shape[1]:
                print("特征维度不匹配，跳过本次识别")
                frames.pop(0)
                continue

            # 预测标签
            predicted_label = model.predict(spectrogram_flat)[0]
            recognition_buffer.append(predicted_label)

            # 缓冲区达到阈值时判断结果
            if len(recognition_buffer) >= buffer_threshold:
                count = Counter(recognition_buffer)
                most_common_label, count_num = count.most_common(1)[0]
                if count_num >= buffer_threshold:
                    print(f"识别结果: {most_common_label}")
                # 重置缓冲区
                recognition_buffer = []

            # 滑动窗口：移除最旧的chunk
            frames.pop(0)

    except KeyboardInterrupt:
        # 停止音频流
        stream.stop_stream()
        stream.close()
        audio.terminate()
        print("已停止监听")
        break

关键修正点 #

• 统一特征生成逻辑：训练和推理使用完全相同的频谱图生成、长度固定、扁平化流程，确保特征维度与语义一致。
• 修复数据集加载错误：将特征集的初始化移到循环外，避免每次遍历文件重置特征数据。
• 正确计算音频窗口长度：根据频谱图生成参数反推所需音频长度，保证实时采集的音频与训练样本长度匹配。
• 优化识别判断逻辑：使用计数统计的方式判断连续识别结果，减少单次识别误差。

内容的提问来源于stack exchange，提问作者user21119955