Docker部署Dask Distributed Worker如何限制其仅使用1个CPU？

核心问题1：dask.compute的调度器参数错误 #

你调用dask.compute(scheduler="processes")时指定了本地进程池调度器，这会完全绕开部署的分布式Dask Worker，直接在客户端所在机器启动多进程执行任务，这就是占用多个CPU的根本原因。

当通过client = Client("tcp://10.76.8.50:8786")连接分布式集群后，dask.compute默认会使用集群调度器，无需额外指定scheduler参数。

核心问题2：Docker容器未做CPU限制 #

即便Worker配置了--nthreads 1，如果Docker容器本身没有CPU限制，容器内的进程仍可能抢占宿主机的多个CPU核心（比如Worker的内部管理线程、IO线程等）。

修正后的配置步骤 #

1. 调整dask.compute调用 #

删除scheduler="processes"参数，直接使用：

dask.compute(your_delayed_tasks_or_dfs)

任务会自动提交到分布式Worker执行。

2. 修正Worker的Docker启动命令 #

• 移除重复的--name参数
• 添加Docker的--cpus=1参数，从系统层面强制限制容器仅使用1个CPU核心
• 简化Worker参数（无需--resources "process=1"，除非有特定资源调度需求）

正确的启动命令：

docker run --name dask-worker --network host --cpus=1 daskdev/dask:2023.1.1-py3.10 dask-worker 10.76.8.50:8786 --nworkers 1 --nthreads 1 --memory-limit 2GiB

3. 验证配置 #

启动Worker后，在客户端执行以下代码确认Worker资源：

client = Client("tcp://10.76.8.50:8786")
print(client.ncores())  # 输出应为类似 {'tcp://xxx:xxxx': 1}，表示Worker仅1个核心可用

额外说明 #

• Dask Worker的--nthreads 1控制计算线程数，Docker的--cpus=1是操作系统层面的CPU使用率限制，两者配合才能确保严格只用1个CPU核心。
• 如果任务本身默认涉及多进程（如部分Dask DataFrame操作），需强制单进程执行的话，可在提交任务时指定workers={"dask-worker": 1}，或在Worker启动时设置--processes 1（已指定--nworkers 1时默认就是单进程Worker）。

内容的提问来源于stack exchange，提问作者SMI