基于YAMNET的多标签音频迁移学习问题求助

核心问题分析 #

你遇到的ValueError: Can't convert non-rectangular Python sequence to Tensor，本质是标签序列长度不一致（单个数字与列表混合）导致TensorFlow无法生成规则张量。同时，原教程针对单标签设计的SparseCategoricalCrossentropy和softmax输出逻辑，完全不适用多标签任务，必须从标签处理、模型结构、损失函数三个维度调整。

具体解决方案 #

1. 统一标签格式为固定长度独热编码 #

所有标签必须转换成32维独热编码向量，无论原标签是单个类别还是多个类别：

import tensorflow as tf

def convert_to_multilabel(label, num_classes=32):
    # 将单个整数标签转为列表
    if isinstance(label, int):
        label = [label]
    # 创建全0的32维向量
    one_hot_label = tf.zeros((num_classes,), dtype=tf.float32)
    # 为标签对应的索引赋值1
    update_indices = [[idx] for idx in label]
    one_hot_label = tf.tensor_scatter_nd_update(
        one_hot_label, update_indices, tf.ones(len(label), dtype=tf.float32)
    )
    return one_hot_label

# 测试示例
print(convert_to_multilabel(2))          # 输出：[0,0,1,0,...0]（32维）
print(convert_to_multilabel([2,4]))      # 输出：[0,0,1,0,1,...0]（32维）

加载数据集时，用该函数处理所有标签，确保每个标签都是形状为(32,)的张量。

2. 修改YAMNET迁移模型的输出层 #

原教程的softmax输出层是为单标签互斥分类设计的，需替换为多标签独立分类的sigmoid输出：

# 加载预训练YAMNET模型，保留特征提取部分
yamnet = tf.keras.models.load_model('yamnet.h5')
feature_extractor = tf.keras.Model(
    inputs=yamnet.input,
    outputs=yamnet.layers[-2].output  # 取倒数第二层的特征输出
)

# 构建多标签分类头部
num_classes = 32
model = tf.keras.Sequential([
    feature_extractor,
    tf.keras.layers.Dense(num_classes, activation='sigmoid')
])

# 冻结特征提取层（可选，若需微调可后续逐步解冻）
feature_extractor.trainable = False

3. 调整模型编译参数 #

使用BinaryCrossentropy作为损失函数，搭配多标签专属的评估指标：

model.compile(
    optimizer=tf.keras.optimizers.Adam(),
    loss=tf.keras.losses.BinaryCrossentropy(),
    metrics=[tf.keras.metrics.BinaryAccuracy(threshold=0.5)]
)

threshold=0.5表示当预测概率超过0.5时，判定该类别存在。

验证与注意事项 #

• 确保所有样本的标签经过转换后形状统一为(32,)，彻底解决非矩形序列问题。
• 若需要微调YAMNET特征提取层，可逐步解冻部分层，并将学习率设置为1e-5量级，避免破坏预训练特征。
• 多标签分类的评估可补充F1Score、Precision、Recall等指标，更贴合任务实际需求。

已有大量开发者成功基于YAMNET实现多标签音频分类，核心就是做好标签格式统一和模型输出/损失逻辑的适配。

内容的提问来源于stack exchange，提问作者Marcel