带同源端口重连配置的TCP连接池高并发优化问题

在M1 MacBook Air上搭建TCP连接池，用于测试应用高并发请求，目标是避免触发文件描述符等系统限制。当前实现逻辑是：连接归还至池时先关闭，再重新创建并绑定到原源端口（因服务端每次请求后会主动关闭连接）。

目前该实现仅支持2000并发请求，当并发量提升至4000及以上时会出现挂起，需通过SIGINT终止，错误日志指向conn.recv调用异常。已尝试配置SO_REUSEADDR（解决TIME_WAIT端口占用）、SO_LINGER（强制立即关闭socket）等选项，测试过TCP keep-alive但效果不佳，现寻求优化方案以支持更高并发（理论百万级）。

import socket
from queue import Queue, Empty
import threading
import time
import struct
class ConnectionPool:
    def __init__(self, ip, port, pool_size=10,source_port_start=30000,source_port_end=40000):
        self.ip = ip
        self.port = port
        self.pool_size = pool_size
        self.source_port_start = source_port_start
        self.next_source_port = source_port_start
        self.source_port_end = source_port_end
        self.pool = Queue(maxsize=pool_size)
        self.lock = threading.Lock() 
        self._create_pool()
        

    def _create_pool(self):
        for _ in range(self.pool_size):
            conn = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
            # Attempt to bind to a unique source port within range
            with self.lock:
                for port in range(self.next_source_port, self.source_port_end):
                    try:
                        conn.bind(('', port))
                        # print(f"Bound to source port: {port}")
                        self.next_source_port = port + 1
                        break
                    except OSError as e:
                        print(f"Port {port} is in use, trying next port.")
                        continue
                else:
                    print("No available ports in range.")
                    conn.close()
                    return None  # No available port to bind
            
            try:
                conn.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
                # conn.setsockopt(socket.SOL_SOCKET, socket.SO_KEEPALIVE, 10)
                # Set TCP keep-alive parameters
                # This might require platform-specific configuration
                # Setting the keep-alive intervals

                # Keep idle time before sending the first keepalive probe (in seconds)

                # Interval between keepalive probes (in seconds)
                # conn.setsockopt(socket.IPPROTO_TCP, socket.TCP_KEEPINTVL, 10)

                # Maximum number of keepalive probes before declaring the connection dead
                # conn.setsockopt(socket.IPPROTO_TCP, socket.TCP_KEEPCNT, 10)
                conn.connect((self.ip, self.port))
                self.pool.put((conn, port))
            except socket.error as e:
                print(f"Connection failed: {e}")
                conn.close()
    
    def get_connection(self):
        try:
            return self.pool.get_nowait()
        except Empty:
            return None

    def return_connection(self, conn_tuple):
        # Close the socket forcefully
        conn_tuple[0].setsockopt(socket.SOL_SOCKET, socket.SO_LINGER, struct.pack('ii', 1, 0))
        conn_tuple[0].close()
        conn = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        conn.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
        # conn.setsockopt(socket.SOL_SOCKET, socket.SO_KEEPALIVE, 10) check if source port
        conn.bind(('', conn_tuple[1]))
        conn.connect((self.ip, self.port))
        # if not self.pool.full():
        #     self.pool.put((conn,conn_tuple[1]))
        self.pool.put((conn,conn_tuple[1]))

    def close_all(self):
        while not self.pool.empty():
            conn_tuple = self.pool.get_nowait()
            conn_tuple[0].close()

1. 重构连接池核心逻辑：避免频繁销毁重建连接 #

当前return_connection中每次销毁旧连接再重建的逻辑，在高并发下会产生大量系统调用开销，且容易触发TIME_WAIT堆积或端口占用问题：

• 改为检测连接可用性：归还连接前，通过conn.recv(1, socket.MSG_PEEK)检测连接是否存活（服务端是否已关闭），若存活则直接放回池；若已断开再重建。
• 移除强制关闭的SO_LINGER配置：SO_LINGER(1,0)会发送RST包强制关闭，破坏TCP四次握手流程，可能引发服务端异常，反而增加连接不稳定概率。

2. 调整端口绑定策略，突破端口数量限制 #

当前固定源端口范围（30000-40000）仅10000个端口可用，直接限制最大并发数：

• 取消手动绑定源端口：让操作系统自动分配源端口（默认范围49152-65535，共16384个端口）。
• 开启SO_REUSEPORT：创建socket时添加conn.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEPORT, 1)，配合SO_REUSEADDR允许多个socket绑定到同一源端口，大幅提升端口复用能力（M1 macOS原生支持该选项）。

3. 优化M1 macOS系统参数配置 #

高并发下系统默认参数会成为瓶颈，需调整以下配置：

• 提高文件描述符限制：
  • 临时生效：执行ulimit -n 65535（当前会话）
  • 永久生效：编辑/etc/sysctl.conf添加kern.maxfiles=65535和kern.maxfilesperproc=65535，再执行sudo sysctl -w kern.maxfiles=65535和sudo sysctl -w kern.maxfilesperproc=65535
• 调整TCP栈参数：
  • 减少TIME_WAIT超时：sudo sysctl -w net.inet.tcp.msl=1000（从默认15000ms改为1000ms，加速端口回收）
  • 开启TCP快速回收：sudo sysctl -w net.inet.tcp.fast_finish_wait2=1
  • 增加TCP连接队列长度：sudo sysctl -w net.inet.tcp.somaxconn=65535

4. 连接池并发安全与性能优化 #

• 替换queue.Queue：该队列的锁机制在高并发下会成为瓶颈，改用asyncio.Queue（异步IO场景）或第三方无锁队列，减少锁竞争开销。
• 切换到异步IO模型：当前多线程+阻塞socket受GIL限制，改用asyncio配合异步socket（asyncio.open_connection）可大幅提升并发处理能力，避免线程切换开销，更适合百万级并发场景。

5. 完善错误处理与重试机制 #

• 在get_connection中添加重试逻辑：当池为空时，尝试创建新连接（而非直接返回None），直到达到最大池大小或资源耗尽。
• 捕获conn.recv异常：使用连接时，若出现ConnectionResetError或TimeoutError，立即将该连接标记为无效并移除出池，同时重建新连接补充到池中，避免无效连接循环复用。

内容的提问来源于stack exchange，提问作者Donal Shijan