磁盘可用空间显示异常,删除深度学习临时文件并重启后问题仍存在的解决方法咨询
磁盘可用空间显示异常,删除深度学习临时文件并重启后问题仍存在的解决方法咨询
Hey Michael, sorry to hear you're stuck with this confusing disk space issue—let’s walk through some common culprits and fixes to get to the bottom of it:
1. 遗漏的深度学习缓存或隐藏临时文件
Deep learning frameworks like PyTorch, TensorFlow, or Keras often store cached models, datasets, or intermediate outputs in hidden directories that you might not have cleared manually. Here’s how to track them down:
- Run these commands to locate large files across your system (the
2>/dev/nullskips permission errors):# 在用户目录下查找大于1GB的文件 find ~ -type f -size +1G 2>/dev/null # 遍历整个磁盘查找大文件(部分系统目录需要sudo权限) sudo find / -type f -size +1G 2>/dev/null - 直接检查框架专属的缓存文件夹:
- PyTorch:
~/.cache/torch - TensorFlow/Keras:
~/.keras或~/.cache/tensorflow
删除这些文件夹里的冗余文件即可释放空间。
- PyTorch:
2. 系统快照或备份占用大量空间
很多操作系统会自动创建系统快照或本地备份,这些文件不会显示在基础的磁盘用量统计里:
- Linux(比如Ubuntu搭配Timeshift):打开Timeshift查看旧的系统快照,删除不需要的备份即可。也可以运行
df -h查看是否有专门的快照分区占用空间。 - macOS(Time Machine):打开Time Machine进入备份界面,删除冗余的本地备份。也可以用命令查看本地快照:
删除指定快照的命令:tmutil listlocalsnapshots /tmutil deletelocalsnapshots <快照名称>
3. 积压的系统日志文件
深度学习训练过程可能会生成大量日志,日积月累会占用不少空间:
- 查看系统日志目录的大小:
sudo du -sh /var/log - 基于systemd的Linux发行版,可以用命令限制日志占用(比如只保留1GB的日志):
sudo journalctl --vacuum-size=1G - macOS可以用控制台APP定位并删除旧日志,也可以运行
sudo rm -rf /private/var/log/*(注意不要删除正在写入的日志文件)。
4. 已删除但仍被进程占用的文件
有时候你删除了文件,但如果有进程还在访问它,系统不会真正释放磁盘空间,直到进程停止:
- 运行以下命令查找已删除但仍被打开的文件:
sudo lsof | grep deleted - 找到和深度学习工具相关的进程(比如Python、CUDA进程),安全地重启或终止这些进程,就能释放对应的空间了。
如果以上方法都没能解决问题,你可以检查文件系统是否存在错误(macOS用磁盘工具修复,Linux用fsck,注意修复前要先卸载对应分区),或者确认所有磁盘分区都已挂载并被统计到用量里。
备注:内容来源于stack exchange,提问作者 Michael Hoang




