You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

在t2.micro实例中安装高内存需求Python库时遭遇内存不足问题求助

在t2.micro实例中安装高内存需求Python库时遭遇内存不足问题求助

嘿,我一眼就看出问题所在了——你碰到的是**内存不足(OOM)**的坑,跟存储扩容没关系哦!t2.micro/t3.micro默认只有1GB内存,安装sentence-transformers依赖的PyTorch相关CUDA包时,下载解压的过程会吃掉大量内存,系统的OOM Killer直接把Python进程干掉了。

你的问题场景复盘

测试环境:t2.micro/t3.micro 实例,Ubuntu 22.04.3 LTS(已扩容存储到30GB)
复现步骤:

  • 创建EC2实例
  • 执行系统更新:sudo apt update && sudo apt upgrade
  • 安装pip:sudo apt install python3-pip
  • 执行安装命令:pip install sentence-transformers

安装到以下阶段时崩溃:

Downloading nvidia_cudnn_cu12-8.9.2.26-py3-none-manylinux1_x86_64.whl.metadata (1.6 kB)
Collecting nvidia-cublas-cu12==12.1.3.1 (from torch>=1.6.0->sentence-transformers)
Downloading nvidia_cublas_cu12-12.1.3.1-py3-none-manylinux1_x86_64.whl (410.6 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╸ 410.6/410.6 MB 67.4 MB/s eta 0:00:01Killed

系统抛出的OOM错误日志:

Out of memory: Killed process 1211 (python) total-vm:1024532kB, anon-rss:456116kB, file-rss:2772kB, shmem-rss:0kB, UID:1000 pgtables:1492kB oom_score_adj:0
[  226.612189] Out of memory: Killed process 2067 (python) total-vm:996224kB, anon-rss:450684kB, file-rss:2560kB, shmem-rss:0kB, UID:1000 pgtables:1516kB oom_score_adj:0

解决方法:添加Swap虚拟内存

给实例加个Swap分区就能解决这个问题,相当于给系统加了一块“虚拟内存”,内存不够时会自动用Swap来补。操作步骤如下:

  1. 创建一个2GB的Swap文件(这个大小足够应付本次安装需求了):
    sudo fallocate -l 2G /swapfile
    
  2. 设置Swap文件的权限,避免其他用户随意访问:
    sudo chmod 600 /swapfile
    
  3. 格式化为Swap分区:
    sudo mkswap /swapfile
    
  4. 启用Swap:
    sudo swapon /swapfile
    
  5. (可选)让Swap在系统重启后自动生效:
    编辑/etc/fstab文件,把下面这行添加到文件末尾:
    /swapfile none swap sw 0 0
    

额外优化建议

安装时可以加上--no-cache-dir参数,避免pip缓存占用额外内存,进一步降低OOM风险:

pip install --no-cache-dir sentence-transformers

做完这些操作后,再重新运行安装命令,应该就能顺利完成了!

备注:内容来源于stack exchange,提问作者Angel Luis

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.04.21 11:49:37