如何将生成的大文件分割后以文件参数形式传入parallel调用的进程，而非通过管道/stdin传递

这个问题我之前也碰到过，刚好GNU Parallel有完美的解决方案，咱们一步一步来理清楚：

你的核心需求是把seq 1000000生成的百万行内容，按每10000行拆分成小块，每个小块以独立文件路径的形式传给/root/someProcess，而不是让进程从标准输入读取内容。

最直接的解决方案 #

只需要调整Parallel命令里的参数引用方式，就能实现你的需求：

parallel -a <(seq 1000000) -j 6 -l 10000 /root/someProcess {}

为什么这个命令能生效？ #

我给你拆解一下关键部分：

• -a <(seq 1000000)：告诉Parallel从seq生成的输出流里读取输入内容，不用先把内容写到磁盘上的真实文件
• -l 10000：把输入按每10000行分割成一个独立的任务单元
• {}：这是Parallel的核心占位符——当你用它的时候，Parallel会自动把当前任务的10000行内容写入一个临时文件，然后把这个临时文件的绝对路径作为参数传给/root/someProcess
• -j 6：保持6个并行任务，和你原本的需求一致

这样运行的效果，完全等价于你手动执行：

/root/someProcess <(seq 1 10000)
/root/someProcess <(seq 10001 20000)
# ... 以此类推直到所有分片处理完成

而且Parallel会自动帮你处理临时文件的创建和清理，不用你手动操心。

进阶调整：自定义临时文件位置 #

如果你想指定临时文件的存放目录（比如方便调试或者监控），可以加上--tmpdir参数：

parallel --tmpdir /tmp/my_parallel_temp -a <(seq 1000000) -j 6 -l 10000 /root/someProcess {}

测试验证（可选） #

如果你想先验证这个逻辑是否正确，可以写一个简单的测试脚本：

# 创建一个模拟处理进程，打印传入的文件路径并显示前2行内容
cat > /root/testProcess << 'EOF'
#!/bin/bash
echo "正在处理文件: $1"
head -2 "$1"
echo "---"
EOF
chmod +x /root/testProcess

# 运行测试命令，用100行数据拆分每10行一个任务
parallel -a <(seq 100) -j 2 -l 10 /root/testProcess {}

执行后你会看到每个临时文件的路径，以及文件里的前两行内容，直观确认确实是把文件路径传给了进程，而非管道输入。

备注：内容来源于stack exchange，提问作者Martin Mucha