Keras训练音频事件检测模型报output_signature类型错误

一、.fit()中output_signature的含义 #

在旧版TensorFlow/Keras的.fit()方法里，output_signature是用来明确训练数据集输出的张量结构与类型规范的参数。它要求每个元素必须是tf.TypeSpec的子类（比如tf.TensorSpec、tf.RaggedTensorSpec），作用是告诉模型训练时输入/输出数据的形状、数据类型，避免框架自动推断结构时出错，尤其适用于多输出、非张量类型的复杂数据场景。

二、<class 'list'>错误的排查方向 #

你的模型是多输出结构（[sed, doa]），出现这个错误的核心是：传给.fit()的数据集返回的输出是Python原生list，而非符合要求的TensorFlow张量结构。常见触发场景有两种：

1. 自定义数据集生成器的问题：你自己写的数据加载逻辑（比如tf.data.Dataset的生成器）返回了Python list（比如把sed和doa的numpy数组包装成list返回），没有转成TensorFlow的张量对象；
2. 模型结构定义的问题：多输出模型构建时，用Python list直接包装输出层，没有通过Keras Functional API正确定义多输出张量结构，导致模型输出是原生list而非TF多输出张量。

三、对应的解决办法 #

1. 修复数据集输出结构 #

如果是数据集返回list的问题，把输出转成TensorFlow张量，并且用tuple包装（TF的Dataset更适配tuple格式的多输出），示例代码：

def preprocess_data(inputs, labels):
    # 把list里的sed、doa转成TF张量，再用tuple返回
    sed_tensor = tf.convert_to_tensor(labels[0], dtype=tf.float32)
    doa_tensor = tf.convert_to_tensor(labels[1], dtype=tf.float32)
    return inputs, (sed_tensor, doa_tensor)

# 给数据集应用预处理
train_dataset = train_dataset.map(preprocess_data)

2. 修正多输出模型的定义 #

确保用Keras Functional API正确构建多输出模型，示例代码：

# 先定义共享的特征提取主干网络
backbone = ... # 你的特征提取层（比如卷积、LSTM等）

# 分别定义两个输出层
sed_output = Dense(num_sed_classes, activation='sigmoid', name='sed')(backbone.output)
doa_output = Dense(num_doa_dims, activation='linear', name='doa')(backbone.output)

# 模型初始化时传入输出层的list/tuple，Keras会自动处理为多输出张量结构
model = Model(inputs=backbone.input, outputs=[sed_output, doa_output])

3. 正确设置output_signature参数 #

如果需要手动指定output_signature，要确保它是tuple结构，每个元素对应一个输出的tf.TensorSpec，示例：

output_signature = (
    tf.TensorSpec(shape=(None, num_sed_classes), dtype=tf.float32),
    tf.TensorSpec(shape=(None, num_doa_dims), dtype=tf.float32)
)

# 可以在构建Dataset时指定，或者传给.fit()的相关参数
train_dataset = train_dataset.with_output_signature(output_signature)

内容的提问来源于stack exchange，提问作者user18934955