Airflow配置Minio Bucket连接时出现EndpointConnectionError错误

尝试搭建由Minio Bucket文件上传触发的Airflow DAG时，配置Airflow连接后测试失败，报错信息如下：

'EndpointConnectionError' error occurred while testing connection: Could not connect to the endpoint URL: "https://sts.amazonaws.com/"

使用的连接配置：

{
  "aws_access_key_id": "QQsHXqzUTkZlZWAmsML0",
  "aws_secret_access_key": "L8ee1O3Ma4Nr7zriTSTYiaJ6qxF3wyYVnFsNBoWH",
  "endpoint_url": "http://url",
  "region_name": "eu-central-1"
}

问题原因及修复方案 #

• 问题核心：Airflow的AWS连接默认会尝试调用AWS STS服务获取临时凭证，但Minio是自建对象存储，无需访问AWS官方STS服务。当前配置未禁用STS调用，导致请求错误地指向了AWS STS地址。
• 修复步骤：
  1. 补充连接配置字段：添加aws_session_token并设为空字符串""，或者添加signature_version字段并设置为"s3v4"（Minio默认支持S3v4签名协议），以此禁用STS凭证请求。
  2. 修正endpoint_url：将占位符http://url替换为Minio服务的实际访问地址，例如http://your-minio-server-ip:9000。
  3. 检查网络连通性：确认Airflow服务器能正常访问Minio的endpoint地址，排除防火墙拦截、端口未开放等网络问题。
  4. 证书适配（若Minio用HTTPS）：如果Minio使用自签名HTTPS证书，在Airflow连接配置中添加verify=False，或者将Minio证书导入Airflow服务器的信任证书库。

内容的提问来源于stack exchange，提问作者MSH