C跨平台线程池库中任务队列与线程信号丢失问题求助

我正在开发一款C语言跨平台线程池库，遇到如下问题：当线程池的4个线程全部在执行耗时1分钟的任务时，若提前向任务队列添加20个任务，每个任务添加时都会发送线程信号，但此时没有线程处于等待状态，信号会丢失。当线程执行完任务变为空闲后，会因为没有后续信号而陷入无限等待。

示例代码 #

#include <pthread.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

volatile int job[10];
volatile int job_counter = 0;
pthread_mutex_t job_mutex;
pthread_cond_t job_cond;

void *worker_func(void *arg) {
    while (1) {
        pthread_mutex_lock(&job_mutex);
        pthread_cond_wait(&job_cond, &job_mutex);
        printf("here2\n");
        printf("work doing %d\n", job[job_counter]);
        sleep(3);
        if(job_counter++==10){
            break;
        }
        pthread_mutex_unlock(&job_mutex);
    }
}

int main() {
    pthread_t thread;
    pthread_cond_init(&job_cond, NULL);
    pthread_mutex_init(&job_mutex, NULL);
    pthread_create(&thread, NULL, worker_func, NULL);
    printf("here1\n");
    sleep(2);
    for (int i = 0; i < 10; i++) {
        pthread_mutex_lock(&job_mutex);
        job[i]=i;
        pthread_cond_signal(&job_cond);
        pthread_mutex_unlock(&job_mutex);
    }
    sleep(2);
    printf("here3\n");
    pthread_join(thread, NULL);
}

解决方案 #

这个问题的核心是条件变量的信号是“无状态”的——如果没有线程在等待pthread_cond_wait，发送的信号会直接丢失，不会被缓存。要解决问题，必须结合任务队列的状态判断，不能单纯依赖信号触发线程。

1. 修正线程逻辑：先检查任务状态再等待 #

线程不能一上来就调用pthread_cond_wait，必须先判断任务队列是否有未处理任务。如果有直接处理；如果没有，再进入等待。这样即使之前信号丢失，线程空闲后也会主动检查队列：

void *worker_func(void *arg) {
    while (1) {
        pthread_mutex_lock(&job_mutex);
        // 用while循环检查，避免虚假唤醒
        while (job_counter >= 10) {
            pthread_cond_wait(&job_cond, &job_mutex);
        }
        printf("here2\n");
        printf("work doing %d\n", job[job_counter]);
        sleep(3);
        if(job_counter++ == 10){
            break;
        }
        pthread_mutex_unlock(&job_mutex);
    }
    pthread_mutex_unlock(&job_mutex); // 退出前确保解锁
}

2. 维护明确的任务计数（推荐） #

在实际线程池实现中，应该维护一个pending_jobs变量记录待处理任务数，线程等待前判断pending_jobs > 0，添加任务时递增计数，处理任务时递减。这能从根源上避免信号丢失问题：

// 新增待处理任务计数
volatile int pending_jobs = 0;

// 线程函数
void *worker_func(void *arg) {
    while (1) {
        pthread_mutex_lock(&job_mutex);
        while (pending_jobs == 0) {
            pthread_cond_wait(&job_cond, &job_mutex);
        }
        // 取出任务
        int task = job[job_counter];
        job_counter++;
        pending_jobs--;
        pthread_mutex_unlock(&job_mutex);

        printf("work doing %d\n", task);
        sleep(3);

        // 示例退出条件，实际可替换为线程池停止标志
        if(job_counter >= 10){
            break;
        }
    }
}

// 主函数添加任务时
for (int i = 0; i < 10; i++) {
    pthread_mutex_lock(&job_mutex);
    job[i]=i;
    pending_jobs++;
    pthread_cond_signal(&job_cond);
    pthread_mutex_unlock(&job_mutex);
}

3. 批量任务用广播唤醒（可选） #

当一次性添加大量任务时，用pthread_cond_broadcast替代pthread_cond_signal，能唤醒所有等待的线程，确保至少有线程处理新任务。但需要结合队列状态判断，避免线程唤醒后无任务可做。

关键要点 #

• 永远不要在未检查共享状态的情况下调用pthread_cond_wait，必须用while循环包裹等待逻辑（防止虚假唤醒）。
• 条件变量仅用来通知状态变化，线程必须主动检查共享状态，不能依赖信号传递“有任务”的信息。

内容的提问来源于stack exchange，提问作者neo