Docker部署Dask集群后，Jupyter调用dd.read_sql_table内核崩溃求助

问题 #

通过Docker Compose部署1个Dask调度器和2个worker，配置如下：

docker-compose.yaml #

version: '3.8'

services:
  dask-scheduler:
    build:
      context: .
      dockerfile: dask.Dockerfile
    command: ["dask", "scheduler", "--host", "0.0.0.0"]
    ports:
      - "50101:8786"
      - "50100:8787"
    networks:
      - default

  dask-worker:
    build:
      context: .
      dockerfile: dask.Dockerfile
    command: ["dask", "worker", "dask-scheduler:8786", "--memory-limit", "4G"]
    deploy:
      mode: replicated
      replicas: 2
    networks:
      - default

dask.Dockerfile #

FROM python:3.11.0-bullseye

RUN apt update -y && \
    apt upgrade -y

RUN apt-get install -y \
    rustc \
    libpq-dev

RUN pip install --upgrade pip

RUN pip install setuptools_rust

RUN pip install \
    dask[complete] \
    bokeh \
    lz4

EXPOSE 8786
EXPOSE 8787

从Notebook连接Dask客户端正常，测试任务client.submit(np.random.random, 2903192, pure=False).key可成功执行，但执行以下read_sql代码时Notebook内核崩溃：

df = dd.read_sql_table(
    table_name="table",
    index_col='stock_qty',
    con="postgresql+psycopg2://username:password@IP:PORT/RAW"
)

调度器日志仅显示客户端连接后断开，无任务发送至worker：

dask-scheduler-1  | 2024-01-22 10:11:09,823 - distributed.scheduler - INFO - Receive client connection: Client-9063b1d4-b90e-11ee-9f28-a652689ec955
dask-scheduler-1  | 2024-01-22 10:11:09,824 - distributed.core - INFO - Starting established connection to tcp://192.168.65.1:56693
dask-scheduler-1  | 2024-01-22 10:11:12,921 - distributed.core - INFO - Connection to tcp://192.168.65.1:56693 has been closed.
dask-scheduler-1  | 2024-01-22 10:11:12,921 - distributed.scheduler - INFO - Remove client Client-9063b1d4-b90e-11ee-9f28-a652689ec955
dask-scheduler-1  | 2024-01-22 10:11:12,922 - distributed.scheduler - INFO - Close client connection: Client-9063b1d4-b90e-11ee-9f28-a652689ec955

可能的原因及解决办法 #

1. Dask Worker缺少必要依赖 #

• 问题：Dockerfile未安装psycopg2（PostgreSQL驱动）和numpy。测试任务能执行可能是因为Notebook环境自带numpy，但任务下发到worker时会失败；dd.read_sql_table需要worker具备psycopg2才能连接PostgreSQL，缺少依赖会导致任务无法初始化，甚至触发客户端崩溃。
• 解决：在Dockerfile的pip install部分添加依赖，重新构建镜像并重启服务：

  pip install \
      dask[complete] \
      bokeh \
      lz4 \
      numpy \
      psycopg2-binary
  

2. index_col选择不合理 #

• 问题：dd.read_sql_table要求index_col是唯一、有序的列（如自增ID、时间戳），用于分片读取数据。如果stock_qty存在重复值、无序，或数据分布极不均匀，会导致Dask计算分片逻辑时出错，甚至耗尽客户端内存引发崩溃。
• 解决：更换为符合要求的列（如表的主键）作为index_col；若无合适列，可使用split_row参数手动指定分片方式，或在数据库中为目标列添加有序索引。

3. Worker无法访问PostgreSQL服务 #

• 问题：Docker容器所在网络可能无法访问PostgreSQL的IP:PORT。比如PostgreSQL部署在本地主机，但容器内使用Docker内部网络，无法直接访问主机IP；或防火墙/安全组阻止了容器的访问请求。此时Dask客户端在预查询元数据或初始化任务时会失败，导致连接断开。
• 解决：
  • 若PostgreSQL在本地主机，将连接地址中的IP替换为host.docker.internal（Docker Desktop）或172.17.0.1（Linux Docker）；
  • 将PostgreSQL服务加入同一个Docker网络，使用服务名作为连接地址；
  • 检查PostgreSQL的防火墙规则，允许Docker容器所在网段的访问。

4. Notebook客户端资源不足 #

• 问题：执行dd.read_sql_table时，客户端会先查询表的元数据（如总行数、列信息）并计算分片策略。如果表非常大，元数据查询或分片计算可能占用大量内存，导致Notebook内核崩溃，此时任务还未下发到worker，所以调度器日志无任务记录。
• 解决：
  • 增加Notebook的内存配额；
  • 手动指定npartitions参数，避免Dask自动计算分片时消耗过多资源；
  • 先在数据库中执行SELECT COUNT(*) FROM table获取总行数，再手动设置分片数。

5. Python/Dask版本兼容性问题 #

• 问题：Python 3.11与部分旧版本的psycopg2或dask存在兼容性问题，导致执行SQL读取时出现未捕获的异常，引发内核崩溃。
• 解决：
  • 指定Dask和psycopg2的稳定版本，比如：

    pip install \
        dask[complete]==2023.12.1 \
        bokeh==3.3.4 \
        lz4==4.3.2 \
        numpy==1.24.3 \
        psycopg2-binary==2.9.9
    

  • 更换为Python 3.10版本的基础镜像，减少兼容性问题。

内容的提问来源于stack exchange，提问作者gtnchtb