如何用TensorFlow Dataset读取超大规模.mat文件及解决卷积层报错

错误根源 #

你遇到的TypeError: %d format: a number is required, not NoneType，核心原因是**tf.py_func返回的张量没有明确的形状信息**——TensorFlow无法自动推断你从HDF5读取的样本维度，导致data_X的shape中存在None值，而slim.conv2d需要明确的输入维度（比如你的200x50x1样本）才能计算卷积参数，最终触发了格式错误。

快速修复：为张量手动设置Shape #

在数据管道中添加一步，明确指定每个样本的形状，让TensorFlow清楚知道输入的维度。修改你的数据集map流程：

dataset = dataset.map(
    lambda filename, label: tuple(tf.py_func(
        _read_py_function, [filename,label], [tf.uint8, tf.int32])))
# 新增：为读取到的数据和标签设置明确shape
dataset = dataset.map(
    lambda x, y: (
        tf.identity(x).set_shape((200, 50, 1)),  # 对应你的样本维度
        tf.identity(y).set_shape(())  # 单个标签是标量，shape为空
    ))
# 后续shuffle、batch操作保持不变
dataset = dataset.shuffle(buffer_size=50000)
dataset = dataset.batch(batch_size)

修改后，data_X的shape会被正确识别为(None, 200, 50, 1)（None对应动态的batch维度），卷积层就能正常工作，报错也就解决了。

优化方案：改用TFRecords提升训练效率 #

虽然你提到制作TFRecords有难度，但针对你的200x50x1单通道样本+int32标签的场景，制作和读取流程其实非常直观。而且TFRecords是TensorFlow原生存储格式，读取速度远快于tf.py_func调用Python读取HDF5，能有效避免GIL瓶颈，更适合你的550K大规模样本训练。

1. 制作TFRecords文件 #

import tensorflow as tf
import h5py
import numpy as np

def write_tfrecords(filenames, labels, output_path):
    """将HDF5格式的样本转换为TFRecords"""
    writer = tf.io.TFRecordWriter(output_path)
    for fname, label in zip(filenames, labels):
        # 读取单个HDF5文件中的样本
        with h5py.File(fname, 'r') as f:
            data = np.asarray(f['feats'], dtype=np.uint8)
        # 将数据转为字节流存储
        data_bytes = data.tobytes()
        # 构建TFRecord的Example结构
        example = tf.train.Example(features=tf.train.Features(feature={
            'data': tf.train.Feature(bytes_list=tf.train.BytesList(value=[data_bytes])),
            'label': tf.train.Feature(int64_list=tf.train.Int64List(value=[label]))
        }))
        writer.write(example.SerializeToString())
    writer.close()

# 调用示例：替换为你的文件列表和标签列表
write_tfrecords(filenames, ytrain, 'train_dataset.tfrecords')

2. 读取TFRecords构建数据管道 #

def parse_tfrecord(example_proto):
    """解析单个TFRecord样本"""
    features = tf.parse_single_example(
        example_proto,
        features={
            'data': tf.FixedLenFeature([], tf.string),
            'label': tf.FixedLenFeature([], tf.int64)
        })
    # 解码字节流并重塑为样本形状
    data = tf.decode_raw(features['data'], tf.uint8)
    data = tf.reshape(data, (200, 50, 1))
    # 转换标签为int32类型
    label = tf.cast(features['label'], tf.int32)
    return data, label

# 构建数据集
dataset = tf.data.TFRecordDataset('train_dataset.tfrecords')
dataset = dataset.map(parse_tfrecord)
dataset = dataset.shuffle(buffer_size=50000)
dataset = dataset.batch(batch_size)

# 后续迭代器和网络定义与你原有代码一致
iterator = tf.data.Iterator.from_structure(dataset.output_types, dataset.output_shapes)
data_X, data_y = iterator.get_next()
data_y = tf.cast(data_y, tf.int32)

这种方式不仅能解决当前的shape问题，还能大幅提升数据读取速度，让你的训练流程更高效。

内容的提问来源于stack exchange，提问作者Priyam Jain