多线程Web服务器阻塞问题：等待cond_full的线程无法唤醒

问题场景 #

我实现了一个多线程Web服务器：

• 主线程负责接收新连接，将文件描述符存入缓冲区
• 支持命令行参数指定线程数（-t 5）和缓冲区大小（-b 20）
• 额外创建的5个工作线程通过manage_conn函数处理连接

测试时用运行spin.cgi的客户端，出现以下问题：

• 仅少数工作线程实际运行
• 主线程接受连接后整体阻塞
• 等待cond_full条件变量的线程无法被唤醒
• 已初始化pthread互斥锁和条件变量，但问题仍存在
• 调试时因时序问题无法稳定复现错误

排查与修复方向 #

一、条件变量核心逻辑检查 #

1. 必须用循环包裹等待逻辑
   条件变量存在虚假唤醒可能，绝对不能用if判断等待条件，必须用while循环：

   pthread_mutex_lock(&buf_mutex);
   // 主线程等待缓冲区空闲
   while (buffer_used >= buffer_size) {
       pthread_cond_wait(&cond_full, &buf_mutex);
   }
   // 写入缓冲区操作
   buffer[write_ptr] = new_fd;
   buffer_used++;
   pthread_mutex_unlock(&buf_mutex);
   

   工作线程取走fd后，要在锁保护下触发唤醒：

   pthread_mutex_lock(&buf_mutex);
   int fd = buffer[read_ptr];
   buffer_used--;
   // 唤醒等待缓冲区空闲的主线程
   pthread_cond_signal(&cond_full);
   pthread_mutex_unlock(&buf_mutex);
   

2. 唤醒时机与信号类型匹配

   • 若主线程可能有多个等待（比如高并发下多个连接请求堆积），建议用pthread_cond_broadcast替代pthread_cond_signal，避免遗漏唤醒
   • 确保每次缓冲区状态变化（工作线程取走fd、主线程写入fd）后，都在锁保护下触发对应条件变量的唤醒操作

二、缓冲区线程安全验证 #

• 所有操作缓冲区状态的代码（已用计数、读写指针、fd存入/取出）必须在互斥锁保护下执行，禁止无锁访问共享变量
• 若使用环形缓冲区，需确保读写指针的更新是原子操作（或锁保护下的顺序操作），避免出现指针越界、覆盖未处理fd的情况

三、spin.cgi场景适配 #

spin.cgi属于长连接/长时间运行的CGI程序，会持续占用工作线程和连接资源，容易快速填满缓冲区：

• 检查manage_conn函数是否在连接异常断开时正确关闭fd、更新缓冲区状态并触发唤醒
• 确保工作线程处理完连接后能正常回到等待状态，避免线程因异常退出导致线程池数量不足

四、时序问题调试技巧 #

1. 添加带线程ID的日志
   在关键节点输出线程ID、时间戳和缓冲区状态，比如：

   #include <time.h>
   // 主线程写入缓冲区时
   printf("[Thread %lu][%ld] 写入fd: %d, 缓冲区已用: %d\n", pthread_self(), time(NULL), new_fd, buffer_used);
   // 工作线程取fd时
   printf("[Thread %lu][%ld] 取出fd: %d, 缓冲区已用: %d\n", pthread_self(), time(NULL), fd, buffer_used);
   

   通过日志线程的执行顺序，定位唤醒信号是否被正确发送/接收

2. 设置等待超时
   用pthread_cond_timedwait替代pthread_cond_wait，超时后输出当前锁状态和缓冲区数据，排查永久等待问题：

   struct timespec timeout;
   clock_gettime(CLOCK_REALTIME, &timeout);
   timeout.tv_sec += 5; // 5秒超时
   int ret = pthread_cond_timedwait(&cond_full, &buf_mutex, &timeout);
   if (ret == ETIMEDOUT) {
       printf("[Thread %lu] 等待cond_full超时，当前缓冲区已用: %d\n", pthread_self(), buffer_used);
   }
   

3. 批量请求模拟
   用脚本批量发起请求，增大并发量，提高问题复现概率，方便调试定位

内容的提问来源于stack exchange，提问作者EmTor