Colab运行带配置文件的Python训练程序时数据集加载失败问题

问题场景 #

在Colab中执行训练命令：

!python /content/nameprogram/train.py --config /content/nameprogram/configs/config.yml

配置文件config.yml的数据集路径配置如下：

#data
data_obj: "/content/nameprogram/data/data_{}_obj.lmdb"
data_q: "/content/nameprogram/data/data_{}_q.lmdb"

max_seq_length: 20
max_obj_num: 4
max_q_num: 25
batch_size: 24

程序可正常加载配置，但加载数据集时触发错误：

self.env = lmdb.open( lmdb.Error: /content/nameprogram/data/data_trainval_obj.lmdb: No such file or directory

解决步骤 #

1. 先确认文件是否存在 #

在Colab终端执行命令，检查目标目录下的文件：

!ls -la /content/nameprogram/data/

如果输出里没有data_trainval_obj.lmdb及对应data_trainval_q.lmdb相关文件，说明数据集未上传到该路径，或路径配置错误。

2. 修正路径配置（若文件位置不符） #

如果你的数据集实际存在于其他路径（比如直接上传到了/content/data/目录），修改config.yml中的路径为实际位置：

# 修改为数据集实际存储路径
data_obj: "/content/data/data_{}_obj.lmdb"
data_q: "/content/data/data_{}_q.lmdb"

如果数据集是压缩包形式上传的，先解压到目标路径：

!unzip /content/your_data.zip -d /content/nameprogram/data/

3. 核对文件名与程序调用的一致性 #

检查你的数据集实际文件名，如果程序期望的data_trainval_obj.lmdb不存在，比如实际是data_train_obj.lmdb，有两种处理方式：

• 修改配置文件中的占位符对应值，直接指定正确文件名：

  data_obj: "/content/nameprogram/data/data_train_obj.lmdb"
  data_q: "/content/nameprogram/data/data_train_q.lmdb"
  

• 或者重命名数据集文件匹配程序需求：

  !mv /content/nameprogram/data/data_train_obj.lmdb /content/nameprogram/data/data_trainval_obj.lmdb
  !mv /content/nameprogram/data/data_train_q.lmdb /content/nameprogram/data/data_trainval_q.lmdb
  

4. 检查LMDB文件完整性 #

如果文件存在但仍报错，大概率是LMDB文件损坏或不完整。LMDB数据集通常包含data.mdb和lock.mdb两个核心文件，需要确保这两个文件都完整上传到对应目录下，重新上传完整的数据集文件即可。

内容的提问来源于stack exchange，提问作者kobi