Google Colab挂载驱动器后,如何下载数据集并进行测试?
在Google Colab挂载Drive后下载数据集并测试的方法
一、下载数据集的常用方式
1. 从网络直接下载(wget/curl)
可以用wget命令将公开数据集下载到Colab临时存储(会话结束后数据会消失),或者直接保存到挂载的Drive中(永久保留):
# 下载到Colab临时目录 !wget https://example.com/your_dataset.zip # 解压到指定文件夹 !unzip your_dataset.zip -d ./dataset_folder # 直接下载到Drive的数据集目录(需提前创建好文件夹) !wget https://example.com/your_dataset.zip -P /content/drive/MyDrive/datasets/ !unzip /content/drive/MyDrive/datasets/your_dataset.zip -d /content/drive/MyDrive/datasets/extracted_data
2. 读取Drive中已有的数据集
挂载完成后,Drive的根路径为/content/drive/MyDrive/,直接用Python数据处理库读取即可:
import pandas as pd # 读取Drive里的CSV表格数据 df = pd.read_csv('/content/drive/MyDrive/datasets/train_data.csv') # 读取图像文件(以PIL为例) from PIL import Image img = Image.open('/content/drive/MyDrive/datasets/images/sample.jpg')
3. 使用框架内置数据集
TensorFlow/Keras、Scikit-learn等框架内置了常用公开数据集,直接调用API加载即可:
# 加载Keras内置的MNIST手写数字数据集 from tensorflow.keras.datasets import mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() # 加载Scikit-learn的鸢尾花数据集 from sklearn.datasets import load_iris iris = load_iris()
二、测试数据集是否可用
1. 验证数据加载状态
通过查看数据形状、基本信息确认是否加载成功:
# 查看MNIST数据集的形状 print(f"训练集图像形状: {x_train.shape}, 训练集标签形状: {y_train.shape}") # 查看表格数据的基本信息 print(df.info())
2. 可视化验证(针对图像/表格数据)
用Matplotlib做简单可视化,直观确认数据内容:
import matplotlib.pyplot as plt # 可视化MNIST的一张手写数字 plt.imshow(x_train[0], cmap='gray') plt.title(f"标签: {y_train[0]}") plt.axis('off') plt.show() # 可视化表格数据的柱状图 df['category'].value_counts().plot(kind='bar') plt.title('数据类别分布') plt.show()
3. 简单数据预处理测试
做一步简单的预处理操作,验证数据可正常操作:
# 对MNIST图像做归一化处理 x_train_normalized = x_train / 255.0 print(f"归一化后像素值范围: {x_train_normalized.min()} ~ {x_train_normalized.max()}")
内容的提问来源于stack exchange,提问作者Allam Chaimaa
相关产品推荐
相关产品推荐

