在不同噪声增强水平下评估TensorFlow音频分类模型的问题

问题描述 #

构建抗噪音频分类模型时，希望通过循环调用model.evaluate()，在添加不同噪声水平的tf.dataset验证集上评估模型效果，但每次循环得到的评估结果完全相同，说明TensorFlow未按预期重新构建数据集。

原代码如下：

# get noise data to mix with validation data for model evaluation:
en_data_val = tf.data.Dataset.from_tensor_slices(noise_files[:len(valid_files)])
# get samples from filenames:
en_data_val = en_data_val.map(parse_en, num_parallel_calls=AUTOTUNE)
# merg noise and sound valdiation sound data sets:
validation_data_en = tf.data.Dataset.zip((en_data_val, validation_data))    
# cache this state: 
validation_data_en = validation_data_en.cache()
    
for noise_level in [0, 0.01, 0.05, 0.1, 0.2, 0.4, 0.8, 1]:
    # Mix the sounds:
    validation_data_en_eval = validation_data_en.map(mix_with_noise_val, num_parallel_calls=AUTOTUNE)
    # Apply filter:
    validation_data_en_eval = validation_data_en_eval.map(preprocess, num_parallel_calls=AUTOTUNE)
    # Convert audio to spectrogramm:
    validation_data_en_eval = validation_data_en_eval.map(parse_to_spec, num_parallel_calls=AUTOTUNE)
    # now create batches:
    validation_data_en_eval = validation_data_en_eval.batch(256)
    # allow to prefetch a second batch while the first one ist processed:
    validation_data_en_eval = validation_data_en_eval.prefetch(AUTOTUNE)
    
    # Evaluate modell:
    eval_loss, eval_cat_acc, eval_precision, eval_recall = model.evaluate(validation_data_en_eval, verbose=1)
    
    # Save results to .txt:
    save_eval_results(noise_level, eval_loss, eval_cat_acc, eval_precision, eval_recall)

问题根源 #

1. 缓存位置错误：validation_data_en.cache()缓存了数据集的初始状态，后续循环中所有依赖这个缓存的map操作都会复用第一次计算的结果，不会重新生成数据。
2. 噪声水平未传入混合函数：原代码中mix_with_noise_val没有接收循环中的noise_level参数，导致每次混合的噪声强度固定不变。

修复方案 #

1. 调整缓存策略，只缓存固定不变的原始数据

将缓存操作放在解析原始音频（噪声和干净验证集）的步骤后，避免缓存依赖噪声水平的混合结果：

# 预解析噪声数据并缓存（这部分不随噪声水平变化）
en_data_val = tf.data.Dataset.from_tensor_slices(noise_files[:len(valid_files)])
en_data_val = en_data_val.map(parse_en, num_parallel_calls=AUTOTUNE).cache()

# 缓存干净验证集（如果之前未缓存）
validation_data = validation_data.cache()

# 合并噪声和干净验证集
validation_data_en = tf.data.Dataset.zip((en_data_val, validation_data))

2. 动态传递噪声水平给混合函数

修改循环内的map调用，用lambda将当前循环的noise_level传入mix_with_noise_val，同时更新该函数以接收这个参数：

# 先修改mix_with_noise_val函数，添加noise_level参数
def mix_with_noise_val(noise_audio, clean_audio, noise_level):
    # 实现根据noise_level混合噪声和干净音频的逻辑
    mixed_audio = clean_audio[0] + noise_level * noise_audio
    return mixed_audio, clean_audio[1]  # 返回混合音频和原标签

# 循环内的混合操作调整
for noise_level in [0, 0.01, 0.05, 0.1, 0.2, 0.4, 0.8, 1]:
    # 动态传入当前噪声水平进行混合
    validation_data_en_eval = validation_data_en.map(
        lambda noise, clean: mix_with_noise_val(noise, clean, noise_level),
        num_parallel_calls=AUTOTUNE
    )
    # 后续预处理、转频谱、分批操作保持不变
    validation_data_en_eval = validation_data_en_eval.map(preprocess, num_parallel_calls=AUTOTUNE)
    validation_data_en_eval = validation_data_en_eval.map(parse_to_spec, num_parallel_calls=AUTOTUNE)
    validation_data_en_eval = validation_data_en_eval.batch(256).prefetch(AUTOTUNE)
    
    # 评估并保存结果
    eval_loss, eval_cat_acc, eval_precision, eval_recall = model.evaluate(validation_data_en_eval, verbose=1)
    save_eval_results(noise_level, eval_loss, eval_cat_acc, eval_precision, eval_recall)

3. 移除不必要的全局缓存

如果不需要缓存原始音频数据，可以直接删除validation_data_en.cache()这行代码，确保每次循环都重新执行所有数据处理步骤，包括动态混合不同强度的噪声。

修复原理 #

• 缓存仅作用于固定不变的原始音频数据，避免重复解析文件带来的开销。
• 每次循环通过lambda传递当前noise_level，确保mix_with_noise_val生成对应噪声强度的混合音频，数据集会动态重新计算，从而得到不同的评估结果。

内容的提问来源于stack exchange，提问作者Jelt0