Docker容器中Python脚本设置环境变量及传参问题求助

问题诊断 #

你的问题大概率出自以下几个点：

• 构建时ARG转ENV的配置逻辑存在疏漏，导致环境变量未正确注入容器
• Airflow镜像默认的用户/权限设置，让脚本无法读取环境变量
• 脚本读取环境变量的写法存在错误，或者Airflow容器的启动流程覆盖了自定义CMD

正确的Dockerfile配置 #

# 基于指定Airflow版本镜像
FROM apache/airflow:2.6.1

# 定义构建时参数，支持构建阶段传入值
ARG HOST
ARG USER
ARG PASSWORD

# 将构建参数转为容器运行时环境变量
ENV DB_HOST=${HOST}
ENV DB_USER=${USER}
ENV DB_PASSWORD=${PASSWORD}

# 创建脚本目录并设置权限（适配Airflow默认用户）
RUN mkdir -p /opt/airflow/scripts && chown airflow:airflow /opt/airflow/scripts

# 复制本地脚本到容器，同时设置所有者为airflow用户
COPY --chown=airflow:airflow your_script.py /opt/airflow/scripts/

# 设置工作目录
WORKDIR /opt/airflow/scripts

# 切换到Airflow默认用户（避免权限问题）
USER airflow

# 启动脚本（直接运行，脚本内读取环境变量）
CMD ["python", "your_script.py"]

Docker Compose配套配置 #

如果用Docker Compose构建和启动，可通过两种方式传递变量：

version: '3.8'

services:
  airflow-script:
    build:
      context: .
      args:
        - HOST=your_db_host
        - USER=your_db_user
        - PASSWORD=your_db_password
    image: airflow-custom-script
    # 可选：如果需要运行时动态修改变量，直接用environment覆盖（优先级高于构建ARG）
    # environment:
    #   - DB_HOST=runtime_db_host
    #   - DB_USER=runtime_db_user
    #   - DB_PASSWORD=runtime_db_password

Python脚本正确写法 #

避免直接用os.environ[key]（变量不存在会抛出异常），改用安全的读取方式：

import os

# 读取环境变量，支持设置默认值
db_host = os.environ.get('DB_HOST')
db_user = os.environ.get('DB_USER')
db_password = os.environ.get('DB_PASSWORD')

# 校验必要变量是否存在
if not all([db_host, db_user, db_password]):
    raise ValueError("缺少必要环境变量：DB_HOST、DB_USER、DB_PASSWORD")

# 业务逻辑示例
print(f"数据库连接信息：HOST={db_host}, USER={db_user}")

排查与验证步骤 #

1. 检查环境变量是否注入容器：
   启动容器后执行命令，查看变量是否存在：

   docker exec -it <容器ID/名称> bash -c "echo $DB_HOST $DB_USER $DB_PASSWORD"
   

2. 验证脚本权限：
   进入容器查看脚本所有者：

   docker exec -it <容器ID/名称> ls -l /opt/airflow/scripts/your_script.py
   

3. 调试脚本环境：
   在脚本中添加全量环境变量打印，排查变量是否存在：

   import os
   print("当前环境变量：", dict(os.environ))
   

内容的提问来源于stack exchange，提问作者Yusuf Cattaneo