Composer DAG执行BigQuery操作时出现ModuleNotFoundError: No module named 'pytz'问题求助

你遇到的这个报错本质是Google Cloud BigQuery的Python客户端库间接依赖pytz——虽然你的代码里没直接调用它，但底层库在处理时间相关逻辑时需要这个模块。即使你已经尝试在Composer环境添加pytz，可能是安装方式、版本兼容性或者环境同步的问题导致没生效，我给你几个针对性的解决方案：

1. 确认pytz的安装方式与版本兼容性 #

• 在Composer环境的PyPI包配置中，确保你添加的pytz版本和当前google-cloud-bigquery版本兼容。比如google-cloud-bigquery>=2.0.0通常要求pytz>=2018.3，建议直接指定一个稳定兼容的版本，比如pytz==2021.1（适配你日志里的Python 3.7版本）。
• 添加后一定要等待Composer环境完成更新（通常需要5-10分钟），确保所有Worker节点都同步了这个依赖。如果更新后还是没生效，可以尝试手动触发一次环境更新（在Composer控制台点击“更新”按钮，选择仅更新PyPI包）。

2. 验证pytz是否真的安装到Worker节点 #

有时候Composer的依赖安装可能存在节点同步延迟，你可以在DAG里加一个简单的测试任务，确认pytz是否存在：

from airflow import DAG
from airflow.operators.bash import BashOperator
from datetime import datetime

default_args = {
    'start_date': datetime(2021, 8, 19)
}

with DAG('verify_pytz_install', default_args=default_args, schedule_interval=None) as dag:
    check_pytz = BashOperator(
        task_id='check_pytz_presence',
        bash_command='pip show pytz && python -c "import pytz; print(\'pytz installed successfully, version:\', pytz.__version__)"'
    )

执行这个任务后，查看日志就能确认pytz是否真的被安装到了运行任务的Worker节点上。

3. 强制指定google-cloud-bigquery的稳定版本 #

如果是google-cloud-bigquery版本过新或过旧导致的依赖冲突，可以在Composer的PyPI包中同时指定这个库的稳定版本，比如：

• google-cloud-bigquery==2.30.0（这个版本经过广泛验证，和pytz>=2018.3兼容）
• 同时搭配pytz==2021.1

4. 检查是否使用了自定义镜像 #

如果你的Composer环境使用了自定义镜像，可能镜像本身没有预装pytz，此时需要：

• 要么在自定义Dockerfile中添加RUN pip install pytz==2021.1
• 要么确保Composer的PyPI包安装优先级高于镜像自带的依赖（Composer默认会覆盖镜像中的PyPI包）

5. 极端情况：重新安装依赖 #

如果以上方法都无效，可以尝试先从Composer环境中移除pytz，等待环境更新完成后，再重新添加指定版本的pytz，这样能避免缓存导致的安装异常。

内容的提问来源于stack exchange，提问作者Prithwiraj Samanta