Linux下非阻塞写入stdout的实现及相关问题咨询

1. 判断stdout可写性的Linux API #

Linux下有几种实用方式可以判断stdout（文件描述符1）能否写入指定字节数而不阻塞：

• ioctl(FIONSPACE)：专门针对管道、套接字这类带缓冲区的文件描述符，调用后可直接获取当前剩余可写入的字节数。示例代码片段：

  #include <sys/ioctl.h>
  ...
  int fd = 1; // stdout对应的文件描述符
  unsigned long remaining;
  if (ioctl(fd, FIONSPACE, &remaining) == 0) {
      if (remaining >= N) {
          // 可以写入N字节而不阻塞
      } else {
          // 写入N字节会触发阻塞，可选择丢弃日志
      }
  }
  

  注意：该接口仅适用于管道、套接字，对普通磁盘文件无效（普通文件始终处于可写状态）。
• I/O多路复用接口：用select()、poll()或epoll()监控stdout的可写状态，设置超时时间为0实现非阻塞检查。比如select()的用法：

  #include <sys/select.h>
  ...
  fd_set write_fds;
  FD_ZERO(&write_fds);
  FD_SET(1, &write_fds);
  struct timeval tv = {0, 0}; // 立即返回，不等待
  int ret = select(2, NULL, &write_fds, NULL, &tv);
  if (ret > 0 && FD_ISSET(1, &write_fds)) {
      // 当前stdout有可写空间，但无法直接确定可写入的字节数
      // 可结合fcntl(F_GETPIPE_SZ)获取管道总缓冲区大小估算剩余空间
  }
  

2. stdout的非阻塞模式及切换可行性 #

Linux下完全可以将stdout设置为非阻塞模式，Node.js文档提到的是管道默认处于阻塞模式，而非不能修改。通过fcntl()系统调用可切换文件描述符的阻塞状态：

• 获取当前标志：int flags = fcntl(1, F_GETFL);
• 设置非阻塞模式：fcntl(1, F_SETFL, flags | O_NONBLOCK);
• 恢复原阻塞模式：fcntl(1, F_SETFL, flags);

你提出的“先切换到非阻塞模式检查，再切回阻塞模式”的思路，在单线程程序下完全可行，第三方日志库不会感知到变化——因为模式切换是顺序执行的，日志库只会在切回阻塞模式后执行写入操作。但如果是多线程程序，这种模式切换存在线程安全风险：其他线程可能在你切换到非阻塞的间隙执行写入，导致写入失败（非阻塞模式下缓冲区满会返回EAGAIN错误）。

如果担心模式切换的风险，更稳妥的方案是实现一个中间层进程/线程：将日志写入自定义的中间管道，由中间层负责判断阻塞并丢弃日志，再将可写内容转发到stdout。这样原日志库始终操作阻塞模式的管道，不受任何影响。

3. 自动丢弃日志的管道工具 #

有现成工具可实现“管道满时自动丢弃日志”的需求，推荐几种实用方案：

• buffer（来自moreutils包）：这是最常用的工具，支持按行缓冲、设置缓冲区大小及满时丢弃策略。比如实现你需要的“缓冲区满时丢弃最早日志行”：

  log-to-stdout | buffer -n -m 100 -d | read-from-stdin
  

  参数说明：-n按行缓冲，-m 100设置最大缓冲100行，-d表示缓冲区满时丢弃旧数据（即drop head）；若需丢弃新数据，替换为-e参数即可。
• 自定义awk脚本：如果不想安装额外工具，可通过awk实现简单的环形缓冲区，保留最新的N行日志：

  log-to-stdout | awk -v max_lines=100 '{
      buf[NR%max_lines] = $0
      if (NR > max_lines) {
          print buf[(NR - max_lines) % max_lines]
      } else {
          print $0
      }
  }' | read-from-stdin
  

• mbuffer：功能更强大的缓冲工具，支持按字节/行缓冲、灵活的丢弃策略等。示例用法：

  log-to-stdout | mbuffer -q -m 100k -P 100 -D | read-from-stdin
  

  参数说明：-q静默模式，-m 100k设置缓冲区大小，-P 100当缓冲区满至100%时触发丢弃，-D表示丢弃旧数据。

内容的提问来源于stack exchange，提问作者Mike Freeman