You need to enable JavaScript to run this app. 如何基于CTC损失函数与tf.data.Dataset监控模型准确率?附可运行代码
优惠活动
大模型
产品
解决方案
定价
更多

如何基于CTC损失函数与tf.data.Dataset监控模型准确率?附可运行代码

问题根因

你的模型采用add_loss方式嵌入CTC损失,训练时不需要额外传入标注作为损失计算的target,但Keras的model.fit对输入格式有统一要求:

  • 用Sequence时你返回了(inputs, dummy_outputs)二元组,Keras会把第二个元素作为计算指标的target,和模型输出的y_pred匹配维度后计算,不会触发报错
  • 直接用tf.data.Dataset时,你返回的是单个包含三个输入字段的结构,Keras会误把label/label_length当成计算指标的target,和y_pred维度不匹配直接报错

另外要注意:你之前用内置"accuracy"跑出来的指标是无效的,因为你传入的是全零dummy值,内置准确率是拿模型输出和全零值做比较,完全不符合OCR任务的准确率计算逻辑。

方案1:给Dataset添加dummy targets,快速适配原有逻辑

如果只是想先跑通不报错,直接修改get_dataset函数,给输出套一层二元组结构,和Sequence返回格式对齐即可:

def get_dataset():
    generate_tfrecords(batch_size * epochs * steps_per_epoch)
    dataset = (
        tf.data.TFRecordDataset(filename, num_parallel_reads=AUTOTUNE)
        .map(parse_tfrecord_fn, num_parallel_calls=AUTOTUNE)
        .batch(batch_size)
        # 新增下行,添加dummy输出,模拟Sequence的返回结构
        .map(lambda x: (x, tf.zeros((tf.shape(x["image"])[0],))), num_parallel_calls=AUTOTUNE)
        .prefetch(AUTOTUNE)
    )
    return dataset

修改完成后use_generator=False也能正常运行,和之前用Sequence的效果完全一致。

方案2:自定义CTC准确率指标,得到有效计算结果

如果想要真正得到可用的准确率指标,就需要自己实现适配CTC解码的准确率计算逻辑,不需要依赖dummy targets:

  1. 先实现CTC解码和准确率计算逻辑
  2. 编译模型时传入自定义指标即可

简化实现示例如下:

def ctc_accuracy(y_true, y_pred):
    input_length = tf.cast(tf.shape(y_pred)[1], dtype="int64") * tf.ones((tf.shape(y_pred)[0],), dtype="int64")
    # 贪心解码
    decoded, _ = K.ctc_decode(y_pred, input_length, greedy=True)
    decoded = tf.cast(decoded[0], tf.float32)
    # 补零对齐标签和预测结果的长度
    max_len = tf.maximum(tf.shape(decoded)[1], tf.shape(y_true)[1])
    decoded = tf.pad(decoded, [[0,0], [0, max_len - tf.shape(decoded)[1]]])
    y_true = tf.pad(y_true, [[0,0], [0, max_len - tf.shape(y_true)[1]]])
    # 计算序列完全匹配的准确率
    match = tf.reduce_all(tf.equal(decoded, y_true), axis=1)
    return tf.reduce_mean(tf.cast(match, tf.float32))

编译模型时传入metrics=[ctc_accuracy]即可,对应修改Dataset的输出为(x, x["label"]),把真实标签传给指标计算使用。

内容的提问来源于stack exchange,提问作者Joel

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.21 16:27:05