如何在Matlab中加载MNIST的ubyte格式数据集?reshape报错怎么解决?
问题原因
你遇到的报错核心是读取MNIST文件时解析到的图片数量完全不符合实际值(正常MNIST训练集仅60000张,报错显示2055376946显然是错误值),根本原因有两个:
- 你直接传入了未解压的
.gz格式文件给processImagesMNIST函数,该函数仅支持读取解压后的原始ubyte二进制文件,读取压缩文件时会解析到错误的元数据 - 若你已解压文件仍报错,大概率是读取二进制时未指定大端序,x86架构设备默认是小端序,直接读取大端序存储的MNIST文件会得到错误的维度参数,导致reshape时元素数量不匹配
解决方案
方法1:基于官方ubyte格式直接加载(无需自行编写读取脚本)
- 第一步:将下载的4个
.gz压缩包全部解压,得到后缀为-idx3-ubyte、-idx1-ubyte的4个原始二进制文件,不要修改解压后的默认文件名 - 第二步:调用函数时传入解压后的ubyte文件路径,不要传入
.gz后缀的压缩包路径,示例调用逻辑:
% 替换为你本地解压后的文件实际路径 filenameImagesTrain = './train-images-idx3-ubyte'; filenameLabelsTrain = './train-labels-idx1-ubyte'; XTrain = processImagesMNIST(filenameImagesTrain); YTrain = processLabelsMNIST(filenameLabelsTrain);
- 若仍报错,直接使用MATLAB Deep Learning Toolbox内置的MNIST加载接口,无需手动下载、处理任何原始文件,一行代码即可完成加载:
% 加载训练集(60000张28*28灰度图+对应标签) [XTrain, YTrain] = digitTrain4DArrayData; % 加载测试集(10000张28*28灰度图+对应标签) [XTest, YTest] = digitTest4DArrayData;
该接口返回的数据格式和官方教程要求的格式完全一致,可直接用于后续模型训练。
方法2:替换为更易读取的MNIST格式
你可以直接获取MAT格式的MNIST数据集,下载后仅需调用load('mnist.mat')即可完成全部数据加载,无需处理二进制解析逻辑,返回的数据包含已规整好的训练、测试特征与标签数组。
内容的提问来源于stack exchange,提问作者SheppLogan
相关产品推荐
相关产品推荐

