Google Colab TPU下TensorFlow分布式训练报[local]文件系统错误修正
报错根源解析
File system scheme '[local]' not implemented 报错的核心原因是:TPU计算节点是独立的远程虚拟机,没有权限直接访问Colab主机上本地挂载的Google Drive文件系统(也就是/content/drive下的所有路径)。当代码直接调用image_dataset_from_directory读取本地磁盘上的图片时,TPU的文件读取接口会因为无法识别本地路径scheme触发报错。
代码现存的其他错误
- 日志打印的变量对应关系颠倒:原代码中
打印“验证集batch数”时实际统计的是测试集的batch数,打印“测试集batch数”时实际统计的是验证集的batch数,输出结果和标签完全不匹配。print('NUM val batches : %d' % tf.data.experimental.cardinality(test_dataset)) print('NUM test batches : %d' % tf.data.experimental.cardinality(val_dataset)) - ResNet50实例化参数冗余:当设置
include_top=False时,传入的classes=101参数不会产生任何实际作用,只会触发框架的冗余参数警告。 - 重复导入冗余代码:代码中多次重复导入
tensorflow、os模块,无实际运行价值,会让代码结构混乱。 - 预训练权重读取的潜在风险:ResNet50默认从公网下载ImageNet预训练权重,TPU节点的网络访问权限和Colab主机不共享,直接在TPU作用域内加载权重会触发和Drive读取同源的文件系统访问错误。
next(iter(train_dataset)) 语句的修改方案 原代码在strategy.scope内部重复执行image_batch, label_batch = next(iter(train_dataset))本身存在两个问题:
- 直接遍历本地路径构建的数据集,会触发前述的本地文件系统访问报错
- 手动拉取单批次数据验证模型输出维度的调试逻辑,在TPU分布式场景下没有实际必要性
具体修改按场景选择:
- 仅需验证模型输出维度的场景:直接用虚拟张量代替从真实数据集拉取batch,完全绕开文件读取逻辑:
# 删除原代码中拉取真实batch的语句,替换为虚拟测试数据 dummy_input = tf.random.normal(shape=(BATCH_SIZE, IMG_SIZE[0], IMG_SIZE[1], 3)) feature_batch = base_model(dummy_input) print(feature_batch.shape) feature_batch_average = global_average_layer(feature_batch) print(feature_batch_average.shape) prediction_batch = prediction_layer(feature_batch_average) print(prediction_batch.shape) - 需要加载真实训练数据的场景:不能直接使用本地挂载的Drive路径,需要将数据集转换为TFRecord格式,存储到TPU原生支持的GCS对象存储中,再通过云存储路径构建Dataset,全程不要直接读取
/content下的本地路径。
内容的提问来源于stack exchange,提问作者MEHTHAB SHAIK
相关产品推荐
相关产品推荐

