select.poll不睡眠无法检测可读数据的技术问题

问题根源：管道输出缓冲机制 #

你遇到的核心问题是进程输出缓冲与管道的交互逻辑：当进程的stdout连接到管道时，默认会启用全缓冲模式——只有当输出缓冲区被填满（通常4KB/8KB级）、进程主动调用flush，或者进程退出时，数据才会从进程的用户态缓冲区写入内核管道。

在不加sleep的场景中：

• Bash或Python脚本会快速把批量数据写入stdout，但这些数据都停留在进程自己的输出缓冲区里，根本没进入内核管道。
• 此时wrap.py的select.poll监听的是内核管道的可读事件，自然检测不到任何数据，只能一直超时。

而加了短sleep后：

• 对于Bash：连续快速输出时全缓冲模式会攒住数据，sleep会触发进程调度切换，间接促使缓冲刷新；
• 对于Python：sleep本身不会主动flush，但如果输出量接近缓冲区阈值，休眠期间的系统调度可能会触发缓冲刷写。但本质上这是巧合，核心还是没主动处理缓冲。

解决方案 #

1. 强制数据源实时输出到管道 #

不管是Bash还是Python，核心是让数据不留在进程缓冲区，直接写入管道。

针对Bash脚本：

用stdbuf命令强制设置输出为无缓冲或行缓冲：

stdbuf -o0 while true; do for i in {1..10}; do echo $i; done; sleep 10; done | ./wrap.py

• -o0表示标准输出无缓冲，每个echo的内容会立即写入管道；
• 也可以用-oL设置行缓冲，每个换行符都会触发缓冲刷新，效果一致。

针对Python脚本：

在print时添加flush=True参数，强制每次输出都刷新缓冲区：

#!/usr/bin/env python3
import time

while True:
    for i in range(1000):
        print(i, flush=True)  # 强制刷新输出缓冲
    time.sleep(10)

或者在脚本开头修改stdout的缓冲模式：

import sys
import os
# 设置stdout为行缓冲（buffering=1）或无缓冲（buffering=0）
sys.stdout = os.fdopen(sys.stdout.fileno(), 'w', buffering=1)

while True:
    for i in range(1000):
        print(i)
    time.sleep(10)

2. 改进wrap.py的非阻塞读取逻辑（可选） #

你的wrap.py目前用sys.stdin.readline()，默认stdin是阻塞模式——即使select.poll检测到POLLIN，readline也可能等待换行符。如果需要严格非阻塞读取，可以把stdin设置为非阻塞模式：

import select
import sys
import time
import os

max_retries = 2
timeout = 300

fd_stdin = sys.stdin.fileno()
# 设置stdin为非阻塞模式
flags = os.fcntl(fd_stdin, os.F_GETFL)
os.fcntl(fd_stdin, os.F_SETFL, flags | os.O_NONBLOCK)

poll = select.poll()
poll.register(fd_stdin, select.POLLIN)

tries = 0
while True:
    events = poll.poll(timeout)

    if len(events) == 0:
        print('timeout')
        tries += 1
        if tries >= max_retries:
           print('sleeping')
           time.sleep(1)
        continue

    tries = 0
    for fd, event in events:
        if fd != fd_stdin or not (event & select.POLLIN):
            print(f'Unknown event {event}')
            continue

        # 非阻塞读取，直到没有数据
        while True:
            try:
                data = sys.stdin.readline()
                if not data:
                    break  # 管道关闭
                print(data, flush=True)
            except BlockingIOError:
                break  # 暂时没有更多数据

总结 #

本质是数据源的输出缓冲没及时刷新到管道，导致select.poll检测不到可读事件。只要让数据源实时把数据写入管道，问题就解决了。

内容的提问来源于stack exchange，提问作者tteixeira