nice能否缓解ProcessPoolExecutor高负载及子进程被OOM终止问题？

你遇到的典型异常报错如下：

Traceback (most recent call last):
  File "main.py", line 49, in main
    future.result(timeout=RESULT_TIMEOUT * TIME_CONVERTOR * TIME_CONVERTOR)
  File "/usr/lib/python3.6/concurrent/futures/_base.py", line 425, in result
    return self.__get_result()
  File "/usr/lib/python3.6/concurrent/futures/_base.py", line 384, in __get_result
    raise self._exception
concurrent.futures.process.BrokenProcessPool: A process in the process pool was terminated abruptly while the future was running or pending.

从你执行dmesg -T | egrep -i 'killed process'查到的系统记录可以明确：这个报错的本质是高复杂度表处理的子进程内存占用超过系统可用阈值，被Linux OOM Killer强制终止，而非CPU长期跑满导致的调度超时。

nice调整进程优先级的实际作用 #

• nice调整的是进程的CPU调度权重，仅能改变不同进程争抢CPU时间片的先后顺序，既不会降低进程实际的内存消耗，也无法阻止系统在内存耗尽时触发OOM杀进程
• 你之前尝试加sleep延迟、调低工作进程数没有优化效果，核心原因是操作没有命中问题根因：哪怕把进程的nice值调到最高（最低CPU优先级），只要并行进程的总内存占用吃满系统阈值，OOM机制依然会强制杀进程
• 持续99%的CPU占用只是高复杂度表处理的伴随现象，不是导致子进程崩溃的直接原因

当前任务提交逻辑的潜在隐患 #

你现在的核心任务提交逻辑如下，会将所有节点+表类型的组合任务一次性全部推入进程池队列：

with ProcessPoolExecutor(max_workers=NUM_OF_PROCESS_WORKERS) as process_executor:
    process_sstables_per_node(env_tables_dict, nodes, process_executor)


def process_sstables_per_node(env_tables_dict, nodes, process_executor):
    for table_type in TABLES_COLUMNS_MAPPER.keys():
        for node in nodes:
            key = os.path.join(node, table_type)
            env_tables_dict[key] = process_executor.submit(handle_sstable_group_files_per_node, node, table_type)

• 虽然你通过max_workers限制了同时并行运行的子进程数量，但ProcessPoolExecutor默认会缓存所有已提交但未执行的任务，这些任务关联的上下文、待处理的文件数据会提前在主进程占用内存；再加上并行运行的子进程加载大表的内存占用，很容易将系统可用内存耗尽
• 这也是单纯调低max_workers效果有限的原因：如果不限制内存中缓存的待处理任务总规模，就算并行进程数减少，排队任务+运行任务的总内存依然会触发OOM

可落地的优化方向 #

• 改一次性全量提交的逻辑为分批提交：每批只提交和max_workers数量匹配的任务量，等前一批任务的Future结果全部返回、回收内存后，再提交下一批任务，避免所有任务的上下文同时预加载占内存
• 排查单表处理逻辑的内存峰值：检查handle_sstable_group_files_per_node函数中是否存在一次性加载整个大表到内存的逻辑，替换为流式分块读取的处理方式，降低单进程的内存占用峰值
• 如果确实需要降低大表处理对系统其他进程的CPU抢占，可以在子进程的处理逻辑入口主动调用os.nice()调整自身优先级，比如把高复杂度表的处理进程的nice值调高2-3档，优化系统整体响应速度，但这一操作完全解决不了OOM导致的进程崩溃问题
• 可以在子进程初始化阶段，用resource模块给单进程设置内存使用上限，一旦单个任务的内存占用超过阈值就主动抛出异常回收资源，避免触发系统层面的OOM Killer直接终止整个进程池

内容的提问来源于stack exchange，提问作者Ema Il