如何使用GNU Parallel将每个实例绑定到远程主机的处理器

以下是几个可行的实操思路：

方法1：利用节点本地任务序号绑定CPU（推荐） #

GNU Parallel自带{%n}变量，它代表当前远程节点上的本地任务序号（从1开始），和全局插槽号无关。不管Parallel是轮询还是其他方式分配任务，每个节点内部的任务都会从1开始计数，刚好可以对应CPU核心索引（减1转为0起始）。

具体操作： #

1. 若已知所有远程节点的CPU核心数为C（比如4核），直接在--sshlogin中指定每个节点的最大并发数等于核心数：

# 示例：2个节点，每个节点4核，任务列表在tasks.txt中
parallel --sshlogin node1:4,node2:4 -a tasks.txt 'taskset -c $(( {%n} - 1 )) {}'

2. 若不想手动指定核心数，让Parallel自动获取远程节点的CPU数量：

# hosts.txt每行一个远程节点地址
parallel --sshloginfile hosts.txt --jobs '{= $_ = qx(ssh $_ nproc) =}' -a tasks.txt 'taskset -c $(( {%n} - 1 )) {}'

这里nproc会返回节点的CPU核心数，Parallel会自动将每个节点的最大并发数设为该值。

方法2：强制任务连续分配到节点（填满一个再下一个） #

如果坚持要让全局任务按节点连续分配，可以用--split参数，它会把任务列表分成与节点数相等的块，每个块完整发给一个节点，再处理下一个节点的任务块。配合节点本地序号{%n}就能绑定对应CPU：

# 按节点数拆分任务，每个节点跑满核心数
parallel --sshlogin node1,node2 --split --jobs $(ssh node1 nproc) -a tasks.txt 'taskset -c $(( {%n} - 1 )) {}'

方法3：自定义全局插槽到CPU的映射（备选） #

如果必须用全局插槽号{%}，可以先计算每个节点的起始插槽偏移：
假设每个节点有C核，节点列表为node1,node2,...，那么第k个节点的起始插槽是(k-1)*C + 1，结束是k*C。对于全局插槽{%}，可以计算：

• 所属节点：$(( ({%} - 1) / C + 1 ))
• 节点内CPU索引：$(( ({%} - 1) % C ))

这种方法需要手动维护节点顺序和核心数，灵活性不如前两种，仅作为备选方案。

内容的提问来源于stack exchange，提问作者Daniel Fenn