什么是https://storage.googleapis.com?如何使用和探索其可用资源?
GCS公共存储桶mledu-datasets资源探索方法
你提到的链接属于谷歌云存储(GCS)的公开资源桶mledu-datasets,路径格式为https://storage.googleapis.com/<桶名称>/<资源路径>,直接访问桶根路径返回404是因为这类公开教学用桶默认关闭了目录列表权限,并非地址无效。你可以通过以下方式探索可用资源:
1. 使用官方gsutil工具枚举资源
gsutil是GCS官方命令行工具,公开可读的桶无需身份验证即可枚举内容:
- 查看桶内顶层资源:运行命令
gsutil ls gs://mledu-datasets/ - 递归列出桶内所有层级的文件和目录:运行命令
gsutil ls -r gs://mledu-datasets/ - 检索特定资源(比如查找Caltech256相关文件):运行命令
gsutil ls -r gs://mledu-datasets/ | grep -i caltech
2. 从官方教程反向收集资源路径
mledu-datasets是谷歌机器学习教育项目官方维护的配套资源桶,所有资源都对应公开的TensorFlow教程案例,你可以从官方教程的notebook代码片段中收集可用的资源路径,目前桶内已确认包含的资源类别有:
- 各类CV预训练模型的无顶权重文件
- 图像分类、目标检测类小型教学数据集
- NLP教程配套的语料数据集切片
3. 拼接路径测试可用性
如果要验证特定资源是否存在,可以按照资源常规命名拼接路径后访问测试,比如测试Caltech256压缩包是否存在,可以访问路径https://storage.googleapis.com/mledu-datasets/caltech256.zip,返回200即可下载,返回404说明桶内无对应资源。目前该桶内未存储完整Caltech256数据集,你可以直接使用TensorFlow Datasets的内置接口加载该数据集。
内容的提问来源于stack exchange,提问作者Sadaf Shafi
相关产品推荐
相关产品推荐

