Debian 10下Rails 5.2并行测试报can't create Thread资源暂时不可用错误
报错根本原因定位
- 该报错和你查到的全局
threads-max=628996的系统硬上限完全无关,核心触发原因是你日常使用的账号下,常驻进程、残留测试实例占满了单用户的进程/线程配额。 - Linux内核中Ruby创建的原生线程本质是轻量级进程(LWP),所有这类线程都会计入当前登录用户的
ulimit -u对应的进程计数,不会突破单用户的进程数量上限。你写的复现脚本出现的老账号600线程触发报错、空账号5000线程正常的差异,刚好对应这个逻辑:老账号后台已经积累了数百个常驻线程,再加600个新线程就直接撞到单用户的进程数阈值;空账号没有后台占用,所以能创建的线程数远高于老账号。 - WEBrick的启动逻辑本身会额外创建监听线程、子进程管理线程,并行Rails测试时还会为每个Capybara会话、Chrome实例派生额外线程,叠加常驻进程的占用后,一旦单用户线程数撞到配额,就会抛出
can't create Thread: Resource temporarily unavailable (ThreadError)的偶发报错。 - 你的
ulimit -n仅为1024的打开文件描述符限制,会进一步收紧可创建的线程数量:每个新线程都会预分配独立的文件描述符表项,fd额度耗尽时也会触发同类报错,和线程数本身的配额限制叠加后,会让报错出现得更频繁。
落地调整方案
- 第一步先清理当前运行测试的用户账号下的残留进程:执行
ps -u $USER -o pid,nlwp,comm | awk '{sum+=$2} END {print "当前用户已占用线程数: " sum}'统计当前实际线程占用,手动清理僵死的WEBrick测试服务、未正常退出的headless Chrome实例、残留的测试子进程,快速释放已经被浪费的线程配额。 - 第二步调整专用测试用户的资源限制,编辑
/etc/security/limits.conf写入以下配置:放开单用户可创建的进程/线程总数到8192,满足并行测试需求test-account hard nproc 8192放开打开文件描述符限制到65535,避免fd占用触发同类报错test-account hard nofile 65535把单线程栈大小从默认8MB降到2MB,降低多线程场景下的内存碎片test-account hard stack 2048配置完成后完全退出当前登录会话,重新登录让新的ulimit配置生效,不要在已经加载旧配置的shell会话中运行测试。 - 第三步做资源隔离:单独创建一个无其他常驻业务进程的系统账号专门跑Rails并行测试,不要和日常运行的服务共用同一个用户身份,从根源上避免日常进程占用测试所需的线程配额。
- 第四步给并行测试留足资源余量:不要把并发测试数开到系统理论最大值,按单用户可用线程数的30%预留系统额度,比如可用线程为8192时,把并行测试worker数控制在200以内,保证每个worker派生的WEBrick线程、Chrome实例线程的总占用不会撞到配额阈值。
- 第五步加前置清理逻辑:在每次启动并行测试前,自动执行
pkill -f "chrome.*headless"清理上一轮测试残留的headless Chrome进程,这类进程每个会派生10~20个线程,残留后是消耗线程配额的最大元凶。
内容的提问来源于stack exchange,提问作者map7
相关产品推荐
相关产品推荐

