Keras中加载解码本地黑色素瘤TFRecord数据集报错问题

原本判断TFRecord读取逻辑简单，多次尝试始终无法完成解码。已将Kaggle平台上512x512分辨率的黑色素瘤TFRecord格式数据集下载至本地，编写如下代码尝试读取训练集文件：

import os
import cv2
import numpy as np
import pandas as pd
import albumentations
import tensorflow as tf
from tensorflow import keras

features = {'image': tf.io.FixedLenFeature([], tf.string),
      'image_name': tf.io.FixedLenFeature([], tf.string),
      'patient_id': tf.io.FixedLenFeature([], tf.int64),
      'sex': tf.io.FixedLenFeature([], tf.int64),
      'age_approx': tf.io.FixedLenFeature([], tf.int64),
      'anatom_site_general_challenge': tf.io.FixedLenFeature([], tf.int64),
      'diagnosis': tf.io.FixedLenFeature([], tf.int64),
      'target': tf.io.FixedLenFeature([], tf.int64),
      'width': tf.io.FixedLenFeature([], tf.int64),
      'height': tf.io.FixedLenFeature([], tf.int64)}

train_filepaths=tf.io.gfile.glob(path+'/train*.tfrec')
train_filepaths

运行上述代码可正常列出所有训练集tfrec文件，返回路径列表如下：

['\Users\adban\Dissertation\Moles\512\train00-2182.tfrec',
'\Users\adban\Dissertation\Moles\512\train01-2185.tfrec',
'\Users\adban\Dissertation\Moles\512\train02-2193.tfrec', ...]

实际调用tf.io.parse_single_example、tf.data.TFRecordDataset接口解析时，要么触发解析错误，要么返回空数组，需要可落地的正确实现方案。

两个核心问题导致解析失败：

1. Windows路径转义错误：返回的路径使用单反斜杠，Python字符串中反斜杠为转义字符，会导致实际文件读取路径异常
2. 解析流程不完整：仅定义了Feature结构字典，没有实现字节流到图像的解码、维度对齐逻辑，直接调用接口自然无法得到正确结果

import tensorflow as tf
from pathlib import Path

# 1. 路径修正：用原始字符串+pathlib处理，彻底避免转义问题
data_dir = Path(r"C:\Users\adban\Dissertation\Moles\512")
train_filepaths = sorted([str(p) for p in data_dir.glob("train*.tfrec")])

# 原有Feature定义正确，直接复用
FEATURE_SCHEMA = {
    'image': tf.io.FixedLenFeature([], tf.string),
    'image_name': tf.io.FixedLenFeature([], tf.string),
    'patient_id': tf.io.FixedLenFeature([], tf.int64),
    'sex': tf.io.FixedLenFeature([], tf.int64),
    'age_approx': tf.io.FixedLenFeature([], tf.int64),
    'anatom_site_general_challenge': tf.io.FixedLenFeature([], tf.int64),
    'diagnosis': tf.io.FixedLenFeature([], tf.int64),
    'target': tf.io.FixedLenFeature([], tf.int64),
    'width': tf.io.FixedLenFeature([], tf.int64),
    'height': tf.io.FixedLenFeature([], tf.int64)
}

def parse_single_sample(proto_bytes):
    # 解析单条TFRecord样本
    parsed_data = tf.io.parse_single_example(proto_bytes, FEATURE_SCHEMA)
    # 核心：image字段是JPEG编码字节流，必须用decode_jpeg解码，不能用decode_raw
    image = tf.io.decode_jpeg(parsed_data['image'], channels=3)
    # 对齐数据集固定的512*512*3维度
    image = tf.reshape(image, [512, 512, 3])
    # 按需做归一化，训练常用0-1区间
    image = tf.cast(image, tf.float32) / 255.0
    label = tf.cast(parsed_data['target'], tf.int32)
    
    # 返回字段可根据训练需求自行裁剪
    return image, label

# 构建训练数据流
BATCH_SIZE = 16
train_ds = tf.data.TFRecordDataset(
    train_filepaths,
    num_parallel_reads=tf.data.AUTOTUNE
)
train_ds = train_ds.map(parse_single_sample, num_parallel_calls=tf.data.AUTOTUNE)
train_ds = train_ds.shuffle(1024).batch(BATCH_SIZE).prefetch(tf.data.AUTOTUNE)

# 验证读取是否正常
for img_batch, label_batch in train_ds.take(1):
    print(f"图像batch维度：{img_batch.shape}")
    print(f"标签batch维度：{label_batch.shape}")
    print(f"首个样本标签值：{label_batch[0].numpy()}")

• 若触发DataLossError：优先检查TFRecord文件是否完整，下载中断导致的文件损坏是这类报错的最高频原因，可重新下载对应损坏的分片
• 若提示文件不存在：确认路径字符串前加r标记为原始字符串，或把路径中所有单反斜杠替换为双反斜杠
• 若图像解码报错：不要使用tf.io.decode_raw解析image字段，该数据集存储的是JPEG压缩后的字节流，必须用JPEG解码器处理

内容的提问来源于stack exchange，提问作者Adrian B