线程间通信优化方案探讨：epoll异步Web服务器日志场景

我正在基于epoll开发异步Web服务器，为实现日志功能创建了独立的日志写入线程。目前使用pthread_mutex_t和pthread_cond_t实现线程间信号通知以完成文件写入，想了解是否存在更低开销的线程通信优化方案？

当前实现代码：

#include <stdio.h>
#include <pthread.h>
#include <time.h>
#include <string.h>

char msg[1024];

pthread_cond_t cv = PTHREAD_COND_INITIALIZER;
pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;

int print_log = 0 ;

time_t now;

#define LOG_FILE(log_msg)   do { pthread_mutex_lock(&mutex); 
                            print_log = 1; 
                            strcpy(msg,log_msg); 
                            pthread_cond_signal(&cv); 
                            pthread_mutex_unlock(&mutex); } while(0) 

time_t now;

void* log_(void* param){

    FILE* fp = (FILE*)param;
    
    
    while(1){

        pthread_mutex_lock(&mutex);
        while(!print_log)
            pthread_cond_wait(&cv,&mutex);

        time(&now);
        char* cur_time = ctime(&now);
        cur_time[strlen(cur_time)-1] = '\0';

        fprintf(fp,"[%s] %s\n", cur_time, msg);
        
        fflush(fp);

        print_log = 0;

        pthread_mutex_unlock(&mutex);

    }
}

int init_logger(const char* log_file){
    pthread_t thread;
    FILE* fp = fopen(log_file,"a");
    if( fp == NULL ){
        perror("fopen()");
        fprintf(stderr,"failed to open file.\n");
        return -1;
    }

    if( pthread_create(&thread,NULL,log_,(void*)fp) < 0 ){
        perror("pthread_create()");
        fprintf(stderr, "failed to create the thread.\n");
        return -1;
    }

    if( pthread_detach(thread) < 0 ){
        perror("pthread_detach()");
        fprintf(stderr, "failed to create the thread.\n");
    }

    return 0;
}

我还考虑过创建队列，让主线程填充日志消息，当日志积累到一定数量时再由日志线程写入，以此减少pthread_mutex_(un)lock()和pthread_cond_signal()的调用次数。此外，采用异步I/O是否也能对此场景有所帮助？

一、批量队列方案（你的思路是最优实践之一） #

单条日志就唤醒线程会频繁触发锁和条件变量操作，开销很高，换成批量队列能直接解决这个问题：

• 核心逻辑：主线程只负责将预格式化好的日志消息推入队列，无需每次唤醒日志线程；日志线程要么在队列达到设定阈值（比如100条）时批量写入，要么每隔固定时间（比如1秒）触发一次写入，大幅减少锁和信号操作的调用频次。
• 队列选型：
  • 追求极致性能用无锁队列：基于CAS原子操作（比如C11 <stdatomic.h> 或GCC内置的__sync_bool_compare_and_swap）实现，完全避免mutex开销。
  • 优先实现复杂度用带锁普通队列：即使加锁，批量写入也只会在推满阈值或定时时唤醒一次线程，锁的开销比单条写入低一个数量级。
• 边界处理：队列满时，主线程可选择丢弃低优先级日志、临时同步写入兜底，避免阻塞业务线程。

二、替代条件变量的低开销通知方式 #

如果不想用队列，只是优化现有单条通知的开销，可替换为以下两种方式：

• 信号量sem_t：主线程调用sem_post触发通知，日志线程调用sem_wait等待，相比条件变量，信号量底层实现更轻量，无需手动管理print_log这类标记变量，逻辑更简洁。
• eventfd事件通知：利用Linux的eventfd创建一个可被epoll监听的文件描述符，主线程写入值触发事件，日志线程可复用服务器现有的epoll循环，无需单独阻塞等待，减少线程上下文切换开销。示例逻辑：

  // 初始化eventfd
  int efd = eventfd(0, EFD_NONBLOCK | EFD_CLOEXEC);
  // 主线程触发事件
  uint64_t val = 1;
  write(efd, &val, sizeof(val));
  // 日志线程在epoll中监听efd，收到事件后处理日志
  

三、异步I/O的实际作用 #

异步I/O（如Linux aio_*系列调用）在这个场景下收益有限，但可结合批量队列使用：

• 异步I/O主要解决文件写入时的阻塞问题，但你的日志线程本身是独立的，写入阻塞不会影响业务线程，因此单独使用意义不大。
• 若结合批量队列，可将批量日志的写入操作改为异步，让日志线程无需等待写入完成就能继续处理下一批，进一步提升吞吐量，但会增加实现复杂度。

四、额外细节优化 #

• 预格式化日志：主线程预先完成日志内容（包括时间戳）的格式化，让日志线程仅负责写入，减少日志线程的CPU负载。
• 减少fflush频次：当前代码每次写入都调用fflush(fp)，会强制刷写缓存，开销极高。批量写入时可仅在批量结束后调用一次，或依赖系统缓存自动刷新（日志场景可接受一定延迟，若需强持久化可定时调用fsync）。
• 线程亲和性绑定：将日志线程绑定到固定CPU核心，减少多核环境下的上下文切换开销。

内容的提问来源于stack exchange，提问作者Cardinal