ECS Fargate容器磁盘空间异常：安装Torch提示空间不足

一、ECS Fargate容器的磁盘大小由什么决定？ #

ECS Fargate容器的可用磁盘空间由任务定义中的临时存储（Ephemeral Storage）配置决定：

• 默认每个Fargate任务分配20GB临时存储，这部分空间覆盖容器根文件系统、镜像解压内容、运行时临时文件、日志等所有容器内磁盘占用。
• 可在任务定义中通过ephemeralStorage字段的sizeInGiB参数调整大小，最大支持配置到200GB。
• 注意：镜像拉取的解压过程会直接占用该临时存储，实际可用空间需扣除镜像解压后的占用量。

二、为何会出现df显示磁盘耗尽但du统计占用远低于此的异常？ #

这种差异通常由以下原因导致：

1. 未释放的已删除文件占用空间
   Linux系统中，若文件被删除但仍有进程持有该文件句柄，操作系统不会释放对应磁盘空间。df会统计这部分未释放空间，但du仅扫描当前目录结构中存在的文件，不会计入已删除但被进程占用的文件。比如你删除缓存文件夹后，可能仍有后台进程（如pip、容器运行时进程）持有这些文件的句柄，导致空间未实际释放。

2. 容器写时复制（CoW）层的隐藏占用
   容器基于镜像的写时复制机制运行：修改镜像文件时，系统会在容器层创建副本而非直接修改镜像层。du可能未完整统计所有容器层的占用，而df统计的是整个根文件系统（镜像层+容器层）的总占用。

3. inode资源耗尽（少见但需排查）
   有时磁盘空间看似充足，但inode（文件索引节点）已耗尽，也会触发"No space left on device"错误。可执行df -i命令检查inode使用情况，若IUse%达到100%，则说明是inode耗尽导致的问题。

针对你的场景的建议 #

• 执行lsof | grep deleted命令，找出持有已删除文件句柄的进程，重启这些进程或整个任务即可释放空间。
• 检查任务定义中的临时存储配置，适当调大ephemeralStorage的大小（安装torch需要较大临时缓存）。
• 安装torch时添加--no-cache-dir参数，避免生成大量缓存文件占用空间。

内容的提问来源于stack exchange，提问作者whitebear