Apache Airflow中xlsxwriter模块无法识别的问题求助

核心原因是终端使用的Python环境和Airflow运行DAG的Python环境不一致，你在终端安装的包并没有被Airflow的运行环境识别到。以下是具体排查和解决步骤：

1. 确定Airflow使用的Python解释器路径 #

先搞清楚Airflow执行任务时用的是哪个Python，在DAG里添加一个测试任务：

import sys
from airflow.decorators import dag, task
from datetime import datetime

@dag(start_date=datetime(2024,1,1), schedule=None)
def check_python_env():
    @task
    def print_python_path():
        print(f"Airflow Python路径: {sys.executable}")
    
    print_python_path()

check_python_env()

运行这个DAG，查看日志里输出的Python路径（比如/opt/airflow/venv/bin/python）。

2. 针对Airflow的Python环境安装xlsxwriter #

拿到路径后，用该路径对应的pip安装包：

• 如果是本地部署的Airflow，直接在终端执行：

  /opt/airflow/venv/bin/python -m pip install xlsxwriter
  

• 如果是Docker部署的Airflow，先进入worker容器：

  docker exec -it <你的airflow-worker容器名> /opt/airflow/venv/bin/python -m pip install xlsxwriter
  

  注意：如果用了Celery executor，所有worker节点都要执行这个命令。

3. 不要在DAG中通过subprocess安装依赖 #

你尝试的subprocess.check_call方式不可取：

• 每次任务运行都会重复安装，浪费资源；
• Airflow的任务执行环境可能有权限限制，导致安装失败；
• 依赖应该提前在Airflow的运行环境中配置好，而不是临时安装。

4. 修正代码中的小问题 #

你的代码第三行末尾多了个逗号，会让worksheet变成元组类型，可能引发后续错误，去掉逗号即可：

workbook = xlsxwriter.Workbook('Yesterday_Orders_Delivery.xlsx')
worksheet = workbook.add_worksheet('Raw_Data')
worksheet = workbook.add_worksheet('order_slots')  # 移除此处的逗号
worksheet = workbook.add_worksheet('Delayed_Delivery')
workbook.close()

额外检查项 #

• 如果用了虚拟环境，确认启动Airflow前已经激活了对应的虚拟环境；
• 查看Airflow配置文件airflow.cfg中的python_path项，确保指向正确的Python解释器；
• 若使用Compose部署，可在docker-compose.yml中添加依赖安装步骤，或者构建自定义镜像时提前安装xlsxwriter。

内容的提问来源于stack exchange，提问作者Chigo