如何通过docker-compose将Makefile命令行变量传递给Python脚本
原配置的核心链路断点
你写的这套配置,变量传递链路在几个位置断了,所以既拿不到传入的值,也看不到预期输出:
- Make参数传递机制不生效:通过
make working_dag=xxx传入的是Makefile层面的变量,默认不会作为环境变量传递给启动的docker-compose子进程,compose根本读不到这个值。 - 变量大小写不匹配:Makefile临时设置的是大写
WORKING_DAG环境变量,但compose配置里引用的是小写working_dag,compose的变量插值是严格区分大小写的,这里直接取到空值。 - Python取参位置错误:脚本里打印
sys.argv[0],这个值永远是正在执行的脚本自身路径,传给脚本的自定义参数存在sys.argv[1]位置,自然打不出内容。 - 输出不可见:用
docker-compose up -d后台启动容器时,脚本的标准输出不会直接打印到宿主机终端,不主动查看日志根本看不到运行结果。 - 容器缺少依赖文件:原compose配置没有把本地目录挂载到容器内,apache/airflow官方镜像里根本不存在你的
testing.py文件,即使前面链路全通也会运行报错。 - 文件名不匹配:原Makefile指定的compose文件是
docker-compose.yml,但项目实际的配置文件名是docker-compose.yaml,可能导致compose找不到配置文件。
修正后的完整配置
Makefile
.PHONY: run logs stop rm # 把命令行传入的working_dag导出为环境变量,让docker-compose进程可以读取 # 这里的?=语法是给变量设默认值:传参就用传入值,没传就用兜底值,避免compose报空值错误 export WORKING_DAG ?= default_dag run: # 注意这里指定的compose文件名要和实际文件名完全一致 docker-compose -f docker-compose.yaml up -d --remove-orphans --build --force-recreate # 增加查看容器日志的快捷命令,方便看到Python的打印输出 logs: docker-compose logs -f prepare_files
docker-compose.yaml
version: "3.7" services: prepare_files: image: apache/airflow:1.10.14 environment: # 严格匹配环境变量名的大小写 WORKING_DAG: ${WORKING_DAG} PYTHONUNBUFFERED: 1 # 把当前项目目录挂载到容器的/app路径,确保容器能读到本地的testing.py volumes: - ./:/app working_dir: /app entrypoint: /bin/bash # 双美元符号是转义,让容器内部shell解析WORKING_DAG,作为参数传给Python脚本 command: -c "python3 testing.py $$WORKING_DAG"
testing.py
import sys # 取第一个传入的自定义参数打印 print(f"读取到的传入值: {sys.argv[1]}", flush=True)
使用流程
- 执行带自定义参数的启动命令:
make working_dag=testing run - 查看脚本实际输出:
日志里会打印make logs读取到的传入值: testing,就是你传入的自定义变量值。
补充说明
如果不想把变量作为命令行参数传给Python,也可以直接在脚本里读容器内的环境变量:只要compose已经把WORKING_DAG注入到容器的environment里,Python里用os.getenv("WORKING_DAG")就能直接拿到值,不需要走命令行参数传递的流程,两种方式效果完全一致。
内容的提问来源于stack exchange,提问作者Javier Lopez Tomas
相关产品推荐
相关产品推荐

