boost::process 如何读取子进程std::cout、std::cerr并保留输出顺序与来源标识

之前方案失效的核心原因 #

两类尝试本质上都没有解决两个独立管道的顺序对齐问题：

• 单线程轮询方案受ipstream默认阻塞特性影响，读取动作会卡在无数据的流上，导致另一流的缓冲区数据长时间积压，最终读取顺序和子进程原始写顺序完全脱节。Windows环境下管道缓冲区的大小限制（默认4KB）会进一步放大这个问题，容易出现输出块被批量延迟读取的情况。
• 多线程直写输出的方案，两个线程为了写最终输出申请互斥锁时，调度顺序由操作系统随机决定，和数据到达父进程的先后没有关联，必然出现顺序颠倒。

具体实现步骤 #

1. 定义统一的结构化日志条目
   每个捕获到的输出块绑定来源标记，用于后续的来源区分：

   enum StreamType { STDOUT, STDERR };
   struct LogEntry {
       std::string content;
       StreamType source;
   };
   

2. 实现线程安全的全局中转队列
   所有捕获到的输出块不直接写入最终目标，统一推入队列，由单独的消费线程按入队顺序输出：

   #include <queue>
   #include <mutex>
   #include <condition_variable>
   
   class LogQueue {
   private:
       std::queue<LogEntry> inner_;
       std::mutex mtx_;
       std::condition_variable cv_;
   public:
       void Push(LogEntry&& item) {
           std::lock_guard<std::mutex> lock(mtx_);
           inner_.push(std::move(item));
           cv_.notify_one();
       }
       LogEntry Pop() {
           std::unique_lock<std::mutex> lock(mtx_);
           cv_.wait(lock, [this](){ return !inner_.empty(); });
           auto res = std::move(inner_.front());
           inner_.pop();
           return res;
       }
   };
   

3. 为每个输出流绑定独立读取线程
   线程的唯一职责是从对应的ipstream读取完整的输出块，打好来源标记后立刻推入队列，不做任何直接写入操作：

   void StreamReader(boost::process::ipstream& src, StreamType source, LogQueue& queue) {
       std::string buf;
       while (std::getline(src, buf)) {
           buf.push_back('\n'); // 补回getline移除的换行符，保留原始输出格式
           queue.Push({std::move(buf), source});
       }
   }
   

4. 启动子进程并绑定重定向
   按照常规方式将子进程的std_out、std_err分别绑定到独立的ipstream，启动两个读取线程和一个队列消费线程：

   int main() {
       LogQueue queue;
       boost::process::ipstream out, err;
       boost::process::child child(
           "test_subprocess.exe",
           boost::process::std_out > out,
           boost::process::std_err > err
       );
       // 启动两个独立的流读取线程
       std::thread t_out(StreamReader, std::ref(out), STDOUT, std::ref(queue));
       std::thread t_err(StreamReader, std::ref(err), STDERR, std::ref(queue));
       // 消费线程按入队顺序输出，附带来源标记
       while (child.running() || !queue.empty()) {
           auto entry = queue.Pop();
           if (entry.source == STDOUT) {
               std::cout << "[stdout] " << entry.content;
           } else {
               std::cerr << "[stderr] " << entry.content;
           }
       }
       child.wait();
       t_out.join();
       t_err.join();
       return 0;
   }
   

Windows环境下的额外注意事项 #

• 子进程的标准输出默认是全缓冲模式，如果子进程不主动关闭缓冲，输出会攒满4KB才会触发写入，哪怕父进程读取速度再快也会出现顺序偏差。需要在子进程启动时通过环境变量或者启动参数，将流的缓冲模式设置为行缓冲，确保子进程每写完一行就立即刷新到管道。
• 不要给ipstream设置非阻塞模式，默认的阻塞模式搭配getline读取已经可以保证数据在管道缓冲区就绪时立刻被读取，不会出现延迟。

内容的提问来源于stack exchange，提问作者jpo38