Ubuntu服务器文件下载性能优化求助：Nginx/Varnish速度瓶颈

你的服务器硬件配置（NVMe SSD、64GB内存、12核CPU、1Gbps带宽）远高于需求，但下载速度仅1MB/s，显然是配置限制或瓶颈未排查到位，以下是具体优化方向和软件选择建议：

一、先排查核心瓶颈 #

1. 网络带宽验证
   • 用iperf3测试服务器与客户端的实际带宽：服务器端执行iperf3 -s，客户端执行iperf3 -c <服务器IP>，确认是否能跑满1Gbps（理论峰值125MB/s）。若跑不满，排查运营商限制、路由节点拥堵或云服务商带宽配额问题。
   • 检查TCP参数：Ubuntu默认TCP配置偏保守，临时调整测试：

     sysctl -w net.core.rmem_max=33554432
     sysctl -w net.core.wmem_max=33554432
     sysctl -w net.ipv4.tcp_window_scaling=1
     

2. 存储性能验证
   • 测试NVMe磁盘读写速度：

     # 写入测试
     dd if=/dev/zero of=test_nvme bs=1G count=1 oflag=direct
     # 读取测试
     dd if=test_nvme of=/dev/null bs=1G count=1 iflag=direct
     

     正常NVMe读取速度应在1GB/s以上，若偏低，检查磁盘挂载参数（建议开启discard）或切换IO调度器为kyber/none：

     echo kyber | sudo tee /sys/block/nvme0n1/queue/scheduler
     

3. 服务配置排查
   • Nginx：确认未设置limit_rate（限速指令），检查worker_processes是否设为CPU核心数（12），worker_connections是否足够（建议10240以上）。
   • Varnish：用varnishstat查看缓存命中率（cache_hit/cache_miss），确保25MB追踪文件被缓存；检查启动参数的内存分配（64GB内存可分配10GB给缓存：varnishd -s malloc,10G）。

二、针对性优化方案 #

1. TCP与网络优化 #

永久修改TCP参数，编辑/etc/sysctl.conf添加：

net.core.rmem_max = 33554432
net.core.wmem_max = 33554432
net.ipv4.tcp_rmem = 4096 87380 33554432
net.ipv4.tcp_wmem = 4096 65536 33554432
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_sack = 1
net.core.netdev_max_backlog = 10000

执行sysctl -p生效，提升TCP缓冲区与并发处理能力。

2. Nginx深度优化 #

针对静态文件优化的核心配置：

server {
    listen 80 default_server http2;
    listen [::]:80 default_server http2;

    root /var/www/html;

    # 内核级文件传输优化
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;

    # 文件缓存与复用
    open_file_cache max=10000 inactive=20s;
    open_file_cache_valid 30s;
    open_file_cache_min_uses 2;

    # 高频文件强缓存
    location /path/to/track-file {
        expires 7d;
        add_header Cache-Control "public, immutable";
    }

    # 普通静态文件缓存
    location ~* \.(jpg|png|pdf|zip|rar)$ {
        expires 30d;
        add_header Cache-Control "public";
    }
}

启用HTTP/2多路复用，减少TCP握手开销；通过open_file_cache降低系统调用次数。

3. 软件替换建议 #

如果Nginx+Varnish组合仍未达标，可尝试：

• Caddy：默认优化静态文件传输，配置简洁，自动支持HTTP/2/HTTP/3，适合高频小文件场景。核心配置：

  :80 {
      root * /var/www/html
      file_server {
          cache_control public, max-age=2592000
      }
      @trackfile path /path/to/track-file
      header @trackfile Cache-Control "public, immutable, max-age=604800"
  }
  

• Lighttpd：轻量高效，专门针对静态文件做了性能优化，内存占用低，并发能力强。

三、额外建议 #

• 启用HTTP/3：进一步降低延迟，Caddy和新版Nginx均支持，需配置SSL证书。
• 检查云服务商带宽：确认是否被限制在1Mbps（部分服务商默认带宽较低，需手动升级）。
• 多线程下载测试：用aria2c <文件URL>测试，若多线程速度显著提升，说明TCP单流受限，需强化TCP参数或启用HTTP/2。

内容的提问来源于stack exchange，提问作者Mykhailo YATSYSHYN