寻求可在AWS运行的GNU ETL工具：支持REST API抽取并加载至云数仓

一、AWS环境下可用的开源ETL工具（支持REST GET抽取） #

• Apache NiFi：完全开源，可部署在EC2、EKS或AWS Marketplace的NiFi集群上。自带InvokeHTTP处理器，直接配置REST GET请求参数（URL、请求头、认证信息），可视化拖拽完成数据解析、字段映射等转换操作，能直接对接AWS Redshift、S3（可后续加载至数仓）等服务。
• Apache Airflow：可选择AWS托管的MWAA，或自行在EC2/EKS部署。通过PythonOperator调用requests库编写GET请求逻辑，结合Pandas完成数据清洗转换，再用RedshiftHook、S3Hook等内置组件将数据加载到目标数仓。
• Mage：开源ELT/ETL工具，支持AWS Serverless、EC2或EKS部署。内置REST API数据源组件，直接配置GET请求细节，支持代码式或可视化转换，可直接输出到Redshift、Snowflake等云数仓。

二、跨云兼容的ETL方案（支持AWS/Azure等） #

• Fivetran 开源核心模块：支持配置REST API数据源，自动处理分页、增量抽取逻辑，可跨云部署，直接同步数据到AWS Redshift、Azure Synapse等主流数仓。
• Apache Spark：在AWS EMR或Azure HDInsight上部署集群，用Python/Scala编写GET请求逻辑（借助requests或spark-http库），通过Spark完成大规模数据转换后，写入Redshift、Synapse、BigQuery等数仓。
• Stitch Data 开源组件：部分开源模块支持REST API数据抽取，可部署在任意云环境，提供可视化转换规则配置，对接主流云数据仓库。

三、支持REST API抽取的云数据仓库选项 #

• Azure Synapse Analytics：无需额外ETL工具，通过Synapse Pipelines的「Web活动」直接调用REST GET API抽取数据，内置数据转换组件，可直接将数据加载至Synapse数仓。
• Snowflake：支持通过外部函数或Snowpipe调用REST API拉取数据，配合SQL完成转换操作，兼容AWS、Azure、GCP多云部署环境。
• AWS Redshift：需通过上述ETL工具中转，或先将API数据存储到S3，再通过COPY命令加载至Redshift；也可结合Redshift Data API完成数据写入操作。

内容的提问来源于stack exchange，提问作者Joe Genshlea