非分布式网页压力/容量测试工具及性能优化方案咨询

针对你当前32k线程无法突破的问题，以下是无需分布式、仅用免费资源的优化方案：

一、系统内核与资源限制调优（Ubuntu 22.04） #

高并发场景下，默认系统参数会限制线程/连接数，需调整以下配置：

1. 提升文件描述符限制
   每个线程/连接都会占用文件描述符，默认值过低会限制并发：

   • 临时生效（当前会话）：

     ulimit -n 1000000
     ulimit -u 1000000
     

   • 永久生效：编辑/etc/security/limits.conf，添加：

     * soft nofile 1000000
     * hard nofile 1000000
     * soft nproc 1000000
     * hard nproc 1000000
     root soft nofile 1000000
     root hard nofile 1000000
     

   • 系统级文件描述符调整：编辑/etc/sysctl.conf，添加fs.file-max = 1000000，执行sysctl -p生效。

2. 减小线程栈大小
   默认线程栈（通常8MB）会占用大量内存，缩小栈大小可在相同内存下容纳更多线程：

   • 临时生效：ulimit -s 1024（设置为1MB）
   • 永久生效：在limits.conf中添加* soft stack 1024

3. 网络参数优化（HTTP测试场景）
   编辑/etc/sysctl.conf，添加以下参数提升并发连接处理能力：

   net.ipv4.tcp_tw_reuse = 1
   net.ipv4.tcp_fin_timeout = 30
   net.ipv4.tcp_max_syn_backlog = 10240
   net.core.somaxconn = 10240
   net.core.netdev_max_backlog = 10000
   

   执行sysctl -p使配置生效。

二、换用轻量高效的测试工具 #

传统线程模型的工具（如JMeter GUI模式）资源占用极高，换用异步IO模型的工具可大幅提升单台机器的负载能力：

1. wrk（推荐）
   基于C语言的高性能HTTP基准测试工具，异步IO模型，资源消耗极低，4核16G机器轻松支撑几十万并发连接：

   • 安装：sudo apt install wrk
   • 示例命令（4线程，64k并发连接，压测30分钟）：

     wrk -t4 -c64000 -d30m http://your-web-server-url
     

   注：-t建议设置为CPU核数，避免线程切换开销。

2. Locust（Python异步模型）
   轻量的开源负载测试工具，基于gevent异步框架，比JMeter更节省资源：

   • 安装：pip install locust
   • 运行时关闭GUI，用无头模式：

     locust -f your-test-script.py --headless -u 64000 -r 1000 -t 30m
     

   可启动多个worker进程绑定不同CPU核，最大化利用多核资源：

   locust -f your-test-script.py --headless -u 64000 -r 1000 -t 30m --worker --master-host=127.0.0.1
   

三、测试脚本与策略优化 #

1. 摒弃线程模型，改用异步请求
   避免每个请求对应一个线程的重量级模型，用异步IO复用连接，减少内存和CPU开销。

2. 简化测试逻辑

   • 关闭不必要的日志输出、断言（非核心校验可暂时移除）
   • JMeter用户务必使用命令行模式（jmeter -n -t test-plan.jmx -l result.jtl），禁用所有GUI监听器

3. 渐进式加压与瓶颈排查

   • 逐步提升并发量，用htop、iftop、vmstat监控负载生成器的CPU、内存、网络使用率：
     • 如果负载机CPU满负荷：优先优化工具（换wrk）或调整线程数与CPU核数匹配
     • 如果内存占满：减小线程栈大小或改用异步工具
     • 如果网络带宽耗尽：检查目标服务器的网络带宽，或调整请求体大小

四、确认瓶颈来源 #

先区分是负载生成器自身资源耗尽，还是目标服务器（Web/RDS）无法承受：

• 若负载机资源仍有剩余，但请求报错率上升：需优化目标Web服务器或RDS配置（如增加Web服务器的进程数、优化数据库查询）
• 若负载机资源已达上限：优先执行上述负载机的优化方案

内容的提问来源于stack exchange，提问作者QA Helper