Airflow连接S3 Bucket问题：无S3连接选项的排查求助

核心原因 #

Airflow 2.x版本（含2.4.3）已取消单独的S3连接类型，S3相关操作统一通过Amazon Web services连接类型配置，你看到的该选项就是适配S3、ECS等多种AWS服务的通用连接入口。

配置步骤 #

• 进入Airflow Admin页面的Connections模块，点击+ Add a new record
• 在Connection Type下拉框选择Amazon Web services
• 填写关键配置项：
  • Conn Id：自定义标识，比如s3_conn（后续任务需引用此ID）
  • Login：填入AWS Access Key ID
  • Password：填入AWS Secret Access Key
  • （可选）指定区域的话，在Extra字段填入JSON配置：{"region_name": "us-east-1"}（替换为你的目标区域）

验证配置有效性 #

可编写简单测试DAG验证S3连接是否可用，比如列出指定桶内文件：

from airflow import DAG
from airflow.providers.amazon.aws.operators.s3 import S3ListOperator
from datetime import datetime

with DAG(
    'test_s3_connection',
    start_date=datetime(2023, 1, 1),
    schedule_interval=None,
    catchup=False
) as dag:
    list_s3_files = S3ListOperator(
        task_id='list_s3_files',
        bucket_name='your-target-bucket',
        aws_conn_id='s3_conn'  # 填入你配置的Conn Id
    )

额外排查点 #

若配置后仍无法使用S3操作，检查以下内容：

• 确认apache-airflow-providers-amazon包已安装：执行pip show apache-airflow-providers-amazon，未安装则执行pip install apache-airflow-providers-amazon（apache-airflow[amazon]理论已包含此包，可做二次确认）
• 重启Airflow服务：确保依赖包加载生效，执行命令：

  sudo systemctl restart airflow-webserver
  sudo systemctl restart airflow-scheduler
  

• 若使用EC2实例IAM角色而非Access Key：确保实例拥有S3相关权限，且连接配置中Login和Password留空，Airflow会自动获取实例角色权限

内容的提问来源于stack exchange，提问作者aero8991