GNU parallel打印任务管理及并行输出延迟问题咨询

这是因为标准输出的缓冲策略在不同场景下会变化：

• 单独运行程序时，std::cout直接输出到终端，默认采用行缓冲模式——每输出一行（遇到\n）就会立即把缓冲区内容刷到终端，所以你能看到实时输出。
• 用GNU Parallel运行时，子进程的stdout会被Parallel通过管道捕获（用来避免多个任务的输出行混乱交叉），此时std::cout会切换为全缓冲模式——只有当缓冲区被填满，或者进程退出时，才会一次性把所有缓冲内容输出。这就是为什么所有内容要等5秒（子进程sleep结束退出）后才一起打印的原因。

针对这个问题，有两种可行的处理方式：

1. 修改C++代码，强制刷新输出 #

在每次std::cout输出后手动刷新缓冲区，确保内容实时输出：

• 把代码中的"\n"替换为std::endl（endl会自动完成换行+刷新缓冲区）：

  void foo(char *argv) {
    std::cout << "Hello from " << argv << std::endl;
    std::this_thread::sleep_for(std::chrono::seconds(5));
  }
  
  int main(int argc, char *argv[]) {
    std::cout << "Enter delay" << std::endl;
    foo(argv[1]);
    std::cout << "Bye!" << std::endl;
    return 0;
  }
  

• 或者保留"\n"，额外添加std::flush：

  std::cout << "Enter delay" << "\n" << std::flush;
  

2. 使用Parallel的--line-buffer参数 #

如果不想修改代码，可以在Parallel命令中添加--line-buffer选项，让Parallel对每个子进程的输出按行缓冲并实时打印：

time parallel --line-buffer -j 4 ./simple_parallet ::: t1 t2 t3 t4

这个选项会让Parallel立即转发子进程的每一行输出，而不是等进程结束后再批量输出。

如果你的核心计算任务也有实时输出需求，优先推荐：

• 若有权限修改代码，统一在输出关键日志/进度信息后添加刷新操作，保证输出实时性，同时不依赖外部工具的参数。
• 若无法修改代码，使用Parallel的--line-buffer参数，既能保留任务输出的完整性（不会出现不同任务的输出行交叉），又能实现实时输出。

内容的提问来源于stack exchange，提问作者Divyang Prajapati