Google Colab挂载Google Drive后磁盘内存被大量占用的原因及排查方法
常见磁盘占用原因
- 首先是最容易被误解的点:Colab的预装运行环境本身就会占用大量磁盘空间
没挂载Drive的全新实例,预装的CUDA运行库、深度学习框架(PyTorch、TensorFlow等)、系统工具包本来就会占35~40G空间,很多人挂载Drive前没有查看过初始磁盘剩余量,误以为这部分占用是挂载Drive导致的。 - Drive挂载的临时索引占用
Colab的Google Drive挂载不是纯零开销的虚拟映射,会在本地生成文件目录索引、文件缩略图缓存,这部分占用通常在几百M到2G区间,不会造成几十G的大额占用。 - 历史运行的残留文件占用
如果没有选择“恢复出厂设置”重置实例,之前运行单元格生成的临时缓存、pip安装包的本地缓存、下载的临时数据集会自动存在本地隐藏目录,哪怕你没手动保存过模型文件,这部分也可能悄悄占走几个G到十几个G的空间。
排查磁盘占用的具体操作
直接在代码单元格运行对应命令即可,无需额外安装工具:
- 先查看全局磁盘的挂载和使用情况
运行:!df -h
输出结果里重点区分两个挂载点:/dev/sda1对应的挂载路径是/,这是Colab分配的68G左右的本地临时磁盘/content/drive对应的是你挂载的Google Drive云端空间,二者的占用是独立计算的,不会互相占用配额
- 定位大体积目录
运行:!du -h --max-depth=1 / 2>/dev/null | sort -hr
命令会从根目录开始按体积从大到小排序所有一级目录,直接看排在最前面的几个目录即可定位占用源:- 如果是
/usr目录体积最大:属于预装环境的正常占用,不建议随意删除,否则会导致Colab运行环境损坏 - 如果是
/root/.cache目录体积最大:是pip、HuggingFace等工具的下载缓存,可直接运行!rm -rf ~/.cache/*安全清理 - 如果是
/tmp目录体积最大:是运行过程生成的临时文件,可直接运行!rm -rf /tmp/*安全清理 - 如果是
/content目录下非drive路径的文件夹体积最大:是你之前手动存在本地、没及时转移到Drive的文件,可按需删除
- 如果是
小提示:存在
/content/drive/MyDrive路径下的文件会直接同步到Google云端,不会占用Colab本地临时磁盘的空间,只有存在/content下、不在drive目录内的文件才会消耗本地磁盘配额。
内容的提问来源于stack exchange,提问作者Maji
相关产品推荐
相关产品推荐

