如何无需本地下载直接从Kaggle读取图像数据集到Python？

为什么你的代码无法运行 #

直接访问Kaggle数据集的下载URL会返回HTML内容，原因有两个：

• Kaggle需要用户认证才能访问数据集资源，未认证的请求会跳转到登录页面
• 该URL并非直接指向数据集的压缩包或文件，而是Kaggle的下载跳转页面

可行的解决方案 #

方法1：使用Kaggle API + fsspec 流式读取单个文件 #

首先确保你已经配置好Kaggle API（在本地~/.kaggle/kaggle.json中放入你的Kaggle token），然后安装依赖包：

pip install kaggle fsspec pillow opencv-python

接下来可以直接通过Kaggle的存储路径读取文件，无需下载整个数据集：

import fsspec
import cv2
from PIL import Image
import numpy as np

# 初始化Kaggle文件系统
fs = fsspec.filesystem('kaggle')

# 列出数据集里的所有图像文件（以Casia数据集为例，调整路径匹配实际结构）
image_paths = [path for path in fs.glob('datasets/sophatvathana/casia-dataset/**/*.jpg') if not fs.isdir(path)]

# 流式读取图像到内存
img_list = []
for path in image_paths[:10]:  # 先测试前10张图
    with fs.open(path, 'rb') as f:
        # 方式1：用PIL读取转numpy数组
        img = Image.open(f)
        img_np = np.array(img)
        # 方式2：用cv2读取
        # img_np = cv2.imdecode(np.frombuffer(f.read(), np.uint8), cv2.IMREAD_COLOR)
        img_list.append(img_np)

img_array = np.array(img_list)
print(img_array.shape)

方法2：使用Hugging Face Datasets 流式加载数据集 #

这个库支持流式加载Kaggle数据集，每次只加载一个批次的样本，完全不用下载整个数据集：

pip install datasets kaggle

代码示例：

from datasets import load_dataset
import numpy as np

# 流式加载数据集，streaming=True表示按需加载，不下载全部数据
ds = load_dataset('sophatvathana/casia-dataset', streaming=True)

# 遍历训练集样本，直接读取图像到内存
for sample in ds['train']:
    # sample['image']是PIL Image对象，可直接转为numpy数组用于训练
    img_np = np.array(sample['image'])
    # 在这里加入你的神经网络训练逻辑
    print(img_np.shape)
    # 可按需设置终止条件，比如只处理前N个样本
    break

注意事项 #

• 确保Kaggle API配置正确，否则会出现权限错误
• 流式读取会增加网络请求次数，建议训练时设置合理的批次大小，避免频繁请求拖慢速度
• 部分数据集的文件结构可能不同，需根据实际情况调整路径或文件匹配规则

内容的提问来源于stack exchange，提问作者seeckhout