GCP Dataflow任务安装依赖时遇Python exited: signal: killed错误求助

问题场景 #

在GCP上使用Apache Beam Python 3.9 SDK 2.45.0运行Dataflow任务，通过setup.py指定工作节点需安装的依赖包时，安装过程触发以下错误：

Python exited: signal: killed

同时日志显示内存耗尽相关报错（进程因OOM被系统终止）。

解决方案 #

• 升级工作节点机器类型
  Dataflow默认的n1-standard-1机器仅3.75GB内存，安装大体积依赖（如pandas、TensorFlow）时极易内存不足。提交任务时指定更高配置的机器类型，示例命令：

  python your_pipeline.py \
    --runner DataflowRunner \
    --project your-project-id \
    --region us-central1 \
    --machine_type n1-standard-2 \
    # 其他必要参数
  

• 精简setup.py依赖清单
  检查setup.py中install_requires字段，移除不必要的依赖包；对必须的大依赖，指定最小功能版本，避免安装冗余的子依赖。

• 使用预构建自定义容器镜像
  提前在本地或Cloud Build构建包含所有依赖的镜像，避免节点实时安装依赖：

  1. 编写Dockerfile，基于Beam官方镜像：

     FROM apachebeam/python3.9_sdk:2.45.0
     COPY requirements.txt .
     RUN pip install --no-cache-dir -r requirements.txt
     

  2. 将镜像推送到GCR（Google Container Registry）
  3. 提交任务时指定镜像：

     python your_pipeline.py \
       --runner DataflowRunner \
       --sdk_container_image gcr.io/your-project-id/your-custom-image:latest \
       # 其他参数
     

• 启用依赖缓存
  添加实验参数复用已安装的依赖，减少重复安装的内存消耗：

  python your_pipeline.py \
    --runner DataflowRunner \
    --experiments=use_runner_v2,enable_worker_dependency_cache \
    # 其他参数
  

• 优化pip安装命令
  在setup.py中使用--no-cache-dir参数减少缓存占用的内存，示例：

  from setuptools import setup
  import subprocess
  
  # 先安装小依赖，再安装大依赖
  subprocess.run(["pip", "install", "--no-cache-dir", "small-package"])
  subprocess.run(["pip", "install", "--no-cache-dir", "large-package"])
  
  setup(
      name="your-pipeline",
      install_requires=[
          # 剩余依赖
      ]
  )
  

内容的提问来源于stack exchange，提问作者Ashutosh Krishna