在Airflow中运行Docker容器与Python脚本遇错求助

1. PapermillOperator 模块找不到问题 #

你遇到的ModuleNotFoundError: No module named 'airflow.providers.papermill'是因为未安装Airflow官方的Papermill provider，单独安装papermill包无法解决该问题。需执行以下操作：

# 确保在Airflow使用的Python环境中执行（如激活虚拟环境）
pip install apache-airflow-providers-papermill

如果你的Airflow是通过Docker Compose部署的（WSL中常见方式），可修改docker-compose.yaml，在airflow-worker和airflow-scheduler的依赖安装部分添加该包，或进入容器内部执行安装命令：

# 进入Airflow scheduler容器
docker exec -it <airflow-scheduler-container-name> bash
# 安装provider
pip install apache-airflow-providers-papermill

安装完成后重启Airflow服务，DAG即可正常加载。

2. DockerOperator 配置错误 #

你的DockerOperator存在多处配置问题，导致无法正常运行Scrapy容器：

• command参数错误：DockerOperator本身已封装Docker API调用，无需在command中执行docker run命令，只需传入容器内部要执行的Scrapy爬取指令，例如：

  command='scrapy crawl your_spider_name'  # 替换为你的实际爬虫名称
  

• volumes格式错误：volumes需指定主机路径:容器内路径的映射关系，你的写法缺少映射符号，正确格式：

  volumes=['/mnt/airflow/data:/app/data']  # 主机的/mnt/airflow/data映射到容器的/app/data
  

• container_name重复冲突：固定容器名会导致重复运行任务时报错，建议删除该参数（让Docker自动生成唯一容器名），或添加动态后缀：

  container_name=f'scrape_data_container_{{{{ execution_date.strftime("%Y%m%d") }}}}'
  

• 冗余端口映射：network_mode='host'已共享主机网络，无需在command中添加-p 6800:6800，可直接移除。

修正后的DockerOperator配置：

scrape_data = DockerOperator(
    task_id='scrape_data',
    image='proj-scrapy',
    command='scrape crawl your_spider_name',  # 替换为实际爬虫名
    volumes=['/mnt/airflow/data:/app/data'],
    network_mode='host',
    dag=dag,
)

3. PapermillOperator 与 Notebook 输出优化 #

确保你的Jupyter Notebook（contentIDmap.ipynb）中包含将预处理后的数据保存为CSV的代码，例如在Notebook末尾添加：

import pandas as pd
# 假设processed_data是预处理后的DataFrame
processed_data.to_csv(f'/mnt/airflow/data/enriched_data_{date}.csv', index=False)

其中date是Papermill传入的参数，确保任务执行后生成指定路径的CSV文件。

另外，output_nb的模板变量写法有误（嵌套双大括号多余），正确格式：

output_nb='/mnt/airflow/enriched_contentIDmap_{{ execution_date.strftime("%Y%m%d") }}.ipynb'

4. AWS 部署建议 #

方式一：使用 Amazon MWAA（托管式Airflow） #

• 将Scrapy镜像推送到Amazon ECR（弹性容器注册表），方便MWAA拉取运行。
• 将Jupyter Notebook和数据文件存储到Amazon S3，修改PapermillOperator的input_nb为S3路径（如s3://your-bucket/contentIDmap.ipynb），并确保MWAA的执行角色拥有访问S3和ECR的权限。
• MWAA自动管理Airflow集群，支持多人远程访问，无需自行维护服务器。

方式二：EC2 自建 Airflow #

• 在EC2上通过Docker Compose部署Airflow，挂载EBS存储数据，或直接使用S3作为数据存储介质。
• 配置安全组开放Airflow Web UI端口（默认8080），允许团队成员远程访问。
• 同样需将Scrapy镜像推送到ECR，方便EC2节点拉取运行。

内容的提问来源于stack exchange，提问作者Sujay Macwan