Airflow使用BashOperator发起cURL请求上传S3文件到API的问题咨询

cURL本身不支持S3协议路径解析，无法直接读取S3存储内的文件，所有方案都需要先将S3文件的内容拉取到Airflow运行环境侧再发起上传请求，以下是可直接落地的实现方案：

方案1：BashOperator组合AWS CLI + cURL（最易实现，无需修改现有逻辑框架） #

前提：Airflow Worker节点已配置好有权限读取目标S3桶的AWS身份凭证，且已安装AWS CLI。

# 1. 将S3文件下载到本地临时目录
aws s3 cp s3://<你的桶名>/<你的文件路径> /tmp/target_file
# 2. 用cURL发起上传请求，可补充API所需的头信息、认证参数等
curl -X POST https://<目标API地址> --form file=@/tmp/target_file
# 3. 上传完成后清理临时文件避免占用磁盘
rm -f /tmp/target_file

方案2：无本地临时文件落地实现（适合大文件、避免本地存储占用） #

利用bash的进程替换特性，将AWS CLI拉取的S3文件流直接传给cURL，无需写入本地磁盘：

curl -X POST https://<目标API地址> --form "file=@-;filename=<你要指定的文件名>" < <(aws s3 cp s3://<你的桶名>/<你的文件路径> -)

说明：@-代表cURL从标准输入读取内容，<(...)是进程替换语法，把AWS CLI输出的文件流作为输入传给cURL，filename参数需手动指定，避免API识别不到文件名。

方案3：使用PythonOperator实现（更规范，方便错误处理和日志排查） #

如果愿意调整Operator类型，用Python原生的boto3和requests库实现更稳定，无需依赖AWS CLI和cURL的环境配置：

import boto3
import requests
from airflow.decorators import task

@task
def upload_s3_file_to_api():
    s3 = boto3.client('s3')
    # 读取S3文件内容到内存
    file_content = s3.get_object(Bucket='<你的桶名>', Key='<你的文件路径>')['Body'].read()
    # 发起POST请求，可补充headers、auth等API所需参数
    files = {'file': ('<你要指定的文件名>', file_content)}
    response = requests.post('https://<目标API地址>', files=files)
    # 校验请求结果，异常时自动标记任务失败
    response.raise_for_status()

注意事项 #

• 确保Airflow Worker的执行角色/凭证有对应S3桶的s3:GetObject权限
• 大文件场景下建议用流式上传避免内存占满，方案2的流处理或者requests的流式上传参数都可支持
• API所需的认证头、签名等参数需对应补充到cURL或requests的请求配置中

内容的提问来源于stack exchange，提问作者bigdataadd