为何epoll边缘触发模式下for循环处理连接会报错？

问题现象 #

开发基于epoll边缘触发（EPOLLET）模式的非阻塞I/O服务器时，使用netcat -c连接后立即关闭，代码中fprintf(stderr,"epoll error")被执行，而非预期的"client closed connection"提示；且预期提示会在下次netcat连接时才打印。

核心原因 #

1. 事件处理顺序错误：客户端主动关闭连接时，socket会同时触发EPOLLIN（可读，FIN包触发EOF）和EPOLLHUP事件。原代码优先判断EPOLLERR/EPOLLHUP，直接进入错误分支关闭fd，跳过了正常读操作，无法检测到read()返回0（客户端关闭）的情况。
2. 边缘触发模式事件未完整处理：边缘触发模式中事件仅通知一次，若未处理完可读数据（包括读到EOF），后续不会再触发该事件。原代码在错误分支直接关闭fd，未执行读操作，导致状态残留，下次epoll被唤醒时可能触发旧逻辑。
3. 未显式从epoll移除已关闭fd：close(fd)不会自动将fd从epoll实例中移除，若fd被系统复用，可能引发异常事件。

修复方案 #

1. 调整事件处理顺序：优先处理EPOLLIN事件，确保先读取客户端关闭的EOF信号，再处理EPOLLERR/EPOLLHUP事件。
2. 显式移除epoll事件：关闭fd前调用epoll_ctl将fd从epoll实例中移除，避免fd复用引发异常。
3. 修正read_all逻辑：将全局buffer改为局部变量避免并发冲突，确保read()返回0时的处理逻辑正确。

修正后的代码 #

主循环事件处理部分 #

while (1) {
    printf("going back!\n");
    int nfds = epoll_wait(epoll_fd, events, MAX_EVENTS, -1);
    printf("got an event!\n");
    if (nfds == -1) {
      perror("epoll_wait()");
      exit(1);
    }
    for (int i = 0; i < nfds; i++) {
      int fd = events[i].data.fd;
      // 优先处理可读事件
      if (events[i].events & EPOLLIN) {
        if (fd == sockfd) { // 新连接处理逻辑
          while (1) {
            struct sockaddr_in in_adr;
            socklen_t in_len = sizeof(in_adr);
            memset(&in_adr, 0, in_len);
            int in_fd = accept(sockfd, (struct sockaddr *)&in_adr, &in_len);
            if (in_fd == -1) {
              if (errno == EAGAIN || errno == EWOULDBLOCK)
                break;
              else {
                perror("accept()");
                break;
              }
            }
#ifdef DEBUG
            char ip_addr[INET_ADDRSTRLEN+1];
            memset(ip_addr,0,sizeof(char)*(INET_ADDRSTRLEN+1));
            if( inet_ntop(AF_INET,(const struct sockaddr*)&in_adr,ip_addr,INET_ADDRSTRLEN+1) == NULL ){
              fprintf(stderr, "couldn't get the IP addrress\n");
            }
            
            printf("new client : %s\n", ip_addr);
#endif
            add_event(epoll_fd, in_fd, &event, EPOLLIN | EPOLLET);
          }
        } else { // 客户端数据处理逻辑
          char msg[REQ_BUF_SIZE];
          memset(msg, 0, sizeof(msg));

          if (read_all(fd, msg, REQ_BUF_SIZE)) {
            printf("client closed connection!\n");
            // 从epoll中移除fd后再关闭
            epoll_ctl(epoll_fd, EPOLL_CTL_DEL, fd, NULL);
            close(fd);
            continue;
          }
          printf("writing to client\n");
          char res[RES_BUF_SIZE];
          memset(res, 0, sizeof(res));
          strcpy(res, "Hello World!");

          send_all(fd, res);
        }
      }
      // 处理未被可读事件覆盖的错误/挂断事件
      if ((events[i].events & EPOLLERR) || (events[i].events & EPOLLHUP)) {
        fprintf(stderr, "client connection closed (HUP/ERR)\n");
        epoll_ctl(epoll_fd, EPOLL_CTL_DEL, fd, NULL);
        close(fd);
        continue;
      }
    }
  }

修正后的read_all函数 #

int read_all(int sockfd, char *msg, size_t buf_size) {
  printf("reading from the client!\n");
  // 将buffer改为局部变量，避免并发冲突
  char buffer[BUF_SIZE];
  while (1) {
    ssize_t bytes = read(sockfd, buffer, BUF_SIZE - 1);
    printf("bytes read : %ld\n", bytes);
    if (bytes <= 0) {
      if (bytes == -1) {
        if (errno != EAGAIN) {
          perror("read()");
          return 1;
        }
        // EAGAIN表示无更多数据可读，正常返回
        return 0;
      } else {
        // bytes == 0，客户端关闭连接
        return 1;
      }
    } 
    buffer[bytes] = '\0';
    printf("%s\n", buffer);
    if (concat(msg, buffer, buf_size) == -1) {
      fprintf(stderr, "buffer overflow\n");
      exit(1);
    }
  }
  return 0;
}

关键说明 #

• EPOLLET模式下必须一次性读完所有可读数据（包括读到EOF），否则事件不会再次触发。read_all的循环逻辑符合该要求，持续读取直到EAGAIN或EOF。
• 显式调用epoll_ctl(epoll_fd, EPOLL_CTL_DEL, fd, NULL)确保关闭fd后，epoll不再监控该fd，避免fd复用引发的异常。

内容的提问来源于stack exchange，提问作者Cardinal