如何修改Dask Worker所用Docker镜像中的依赖库版本？

方案一：构建自定义Worker镜像（生产环境首选，稳定性最高） #

这个方案可以从根本上固定Worker节点的依赖版本，避免每次启动都重新安装依赖：

• 编写自定义Dockerfile，基于官方Dask基础镜像升级pandas到和本地一致的1.2.2版本：

# 可以替换为你当前用的官方Dask镜像版本标签
FROM ghcr.io/dask/dask:latest
RUN pip install --no-cache-dir pandas==1.2.2

• 构建完成后将镜像上传到AWS ECR（或你当前使用的容器镜像仓库）
• 使用dask.cloudprovider创建Fargate集群时，通过image参数指定你上传的自定义镜像地址，所有新启动的Worker都会使用这个镜像，自动匹配版本。

方案二：运行时动态升级Worker依赖（适合临时测试场景） #

如果不想走镜像构建推送流程，可以在集群启动后批量给所有Worker安装指定版本pandas：

• 连接到集群后调用client.run在所有Worker节点执行安装操作，参考代码：

from distributed import Client

# 替换为你自己的集群调度器连接地址
client = Client("tcp://<your-scheduler-address>:8786")

def update_pandas():
    import subprocess
    import sys
    subprocess.check_call([sys.executable, "-m", "pip", "install", "--force-reinstall", "pandas==1.2.2"])

# 等待所有Worker执行完成
client.run(update_pandas)

• 安装完成后重启Worker进程即可生效，不需要重新创建集群。

注意：必须保证客户端、调度器、Worker三个节点的pandas版本完全一致，才能完全避免序列化兼容性问题导致的属性报错。你本地客户端用的是1.2.2，所有节点都对齐这个版本即可解决categorize方法触发的报错。

内容的提问来源于stack exchange，提问作者AlexTheTRex