You need to enable JavaScript to run this app. 如何通过docker-compose将Makefile命令行变量传递给Python脚本
优惠活动
大模型
产品
解决方案
定价
更多

如何通过docker-compose将Makefile命令行变量传递给Python脚本

原配置的核心链路断点

你写的这套配置,变量传递链路在几个位置断了,所以既拿不到传入的值,也看不到预期输出:

  • Make参数传递机制不生效:通过make working_dag=xxx传入的是Makefile层面的变量,默认不会作为环境变量传递给启动的docker-compose子进程,compose根本读不到这个值。
  • 变量大小写不匹配:Makefile临时设置的是大写WORKING_DAG环境变量,但compose配置里引用的是小写working_dag,compose的变量插值是严格区分大小写的,这里直接取到空值。
  • Python取参位置错误:脚本里打印sys.argv[0],这个值永远是正在执行的脚本自身路径,传给脚本的自定义参数存在sys.argv[1]位置,自然打不出内容。
  • 输出不可见:用docker-compose up -d后台启动容器时,脚本的标准输出不会直接打印到宿主机终端,不主动查看日志根本看不到运行结果。
  • 容器缺少依赖文件:原compose配置没有把本地目录挂载到容器内,apache/airflow官方镜像里根本不存在你的testing.py文件,即使前面链路全通也会运行报错。
  • 文件名不匹配:原Makefile指定的compose文件是docker-compose.yml,但项目实际的配置文件名是docker-compose.yaml,可能导致compose找不到配置文件。
修正后的完整配置

Makefile

.PHONY: run logs stop rm

# 把命令行传入的working_dag导出为环境变量,让docker-compose进程可以读取
# 这里的?=语法是给变量设默认值:传参就用传入值,没传就用兜底值,避免compose报空值错误
export WORKING_DAG ?= default_dag

run:
	# 注意这里指定的compose文件名要和实际文件名完全一致
	docker-compose -f docker-compose.yaml up -d --remove-orphans --build --force-recreate

# 增加查看容器日志的快捷命令,方便看到Python的打印输出
logs:
	docker-compose logs -f prepare_files

docker-compose.yaml

version: "3.7"
services:
  prepare_files:
    image: apache/airflow:1.10.14
    environment:
      # 严格匹配环境变量名的大小写
      WORKING_DAG: ${WORKING_DAG}
      PYTHONUNBUFFERED: 1
    # 把当前项目目录挂载到容器的/app路径,确保容器能读到本地的testing.py
    volumes:
      - ./:/app
    working_dir: /app
    entrypoint: /bin/bash
    # 双美元符号是转义,让容器内部shell解析WORKING_DAG,作为参数传给Python脚本
    command: -c "python3 testing.py $$WORKING_DAG"

testing.py

import sys

# 取第一个传入的自定义参数打印
print(f"读取到的传入值: {sys.argv[1]}", flush=True)
使用流程
  1. 执行带自定义参数的启动命令:
    make working_dag=testing run
    
  2. 查看脚本实际输出:
    make logs
    
    日志里会打印读取到的传入值: testing,就是你传入的自定义变量值。

补充说明
如果不想把变量作为命令行参数传给Python,也可以直接在脚本里读容器内的环境变量:只要compose已经把WORKING_DAG注入到容器的environment里,Python里用os.getenv("WORKING_DAG")就能直接拿到值,不需要走命令行参数传递的流程,两种方式效果完全一致。

内容的提问来源于stack exchange,提问作者Javier Lopez Tomas

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.05 06:54:05