sort命令--parallel=16参数未生效，占用全部CPU核心问题咨询

核心原因分析 #

• --parallel参数作用范围有限：GNU sort的--parallel=N参数仅控制归并排序阶段的并行任务数，而前期的文件分片排序阶段，sort会根据系统可用内存、临时空间等资源，自动创建多个子进程并行处理分片文件，这些子进程的数量不受--parallel参数限制，因此会占用更多核心。
• 系统资源充足导致分片过多：当临时目录/data/tmp空间足够大、系统内存充裕时，sort会拆分出大量小分片文件，每个分片的排序操作都会占用一个CPU核心，加上归并阶段的16个并行任务，总核心占用就会轻松突破16，甚至占满所有56个核心。
• 混淆了两种并行排序工具：你原本计划用parsort（GNU Parallel配套的并行排序工具），但实际执行的是GNU sort自带的--parallel参数。两者并行逻辑完全不同：parsort依赖GNU Parallel控制并行任务数，而GNU sort的内置并行是自主调度的，核心限制逻辑更宽松。

解决办法 #

• 直接绑定核心：用taskset命令将sort进程绑定到指定的16个核心，严格限制CPU使用：

  taskset -c 0-15 sort --parallel=16 -t ',' -k1,1 -k11,11 -k8,8 -T /data/tmp "${IN_FN}" > "${SORTED_FN}"
  

• 限制分片内存：通过-S参数指定每个排序分片可使用的内存上限，减少分片数量，从而降低并行进程数：

  sort --parallel=16 -S 8G -t ',' -k1,1 -k11,11 -k8,8 -T /data/tmp "${IN_FN}" > "${SORTED_FN}"
  

  （-S 8G表示每个分片最多用8GB内存，可根据你的总内存调整）
• 改用parsort：如果确实要使用parsort，执行对应命令并通过--jobs参数限制并行数：

  parsort --jobs 16 -t ',' -k1,1 -k11,11 -k8,8 -T /data/tmp "${IN_FN}" > "${SORTED_FN}"
  

内容的提问来源于stack exchange，提问作者Mike