Amazon Data Exchange产品API拉取S3股票数据的方案及功能咨询

1. 直接API Gateway集成S3（仅适用于全量数据下载场景） #

• 可以直接配置API Gateway和S3集成，让订阅者通过API直接获取S3里的原始CSV，甚至能简单把CSV转成JSON返回，但完全不支持字段、日期范围这类自定义筛选参数，只能返回整个文件的全量内容。
• 这种方案只适合不需要用户筛选数据的场景，显然满足不了你的需求。

2. Lambda + API Gateway（满足参数筛选需求的必选方案） #

因为你需要支持用户通过请求指定字段、日期范围等条件筛选数据，这类业务逻辑必须靠Lambda来处理：

• Lambda核心工作流程：
  • 接收API Gateway传递的请求参数（比如fields字段列表、start_date/end_date日期范围）
  • 根据参数定位S3中的目标CSV文件（如果是按日期分文件存储的话），或者直接读取文件内容
  • 按参数过滤数据：提取指定字段、筛选符合日期范围的行；如果文件很大，推荐用S3 Select直接在S3端完成过滤，减少Lambda的内存消耗和处理时间
  • 将处理后的数据集转换成用户需要的JSON或CSV格式，返回给API Gateway
• API Gateway的作用：
  • 对外暴露标准REST接口，支持AWS SDK、CLI、各类IDE发起的请求
  • 校验请求参数的合法性，把参数传递给Lambda
  • 将Lambda返回的处理结果返回给订阅用户
• 额外配置：需要给API Gateway加上Amazon Data Exchange的订阅授权，确保只有订阅了你产品的用户才能调用接口。

简化实现步骤 #

• 在API Gateway创建REST API，定义接收参数的接口（比如POST方法，接收包含筛选条件的JSON payload）
• 创建Lambda函数，配置IAM权限允许读取目标S3桶，同时允许被API Gateway调用
• 在Lambda中编写业务逻辑：解析请求参数、读取/过滤S3数据、转换格式后返回
• 把API Gateway的接口和Lambda集成，配置响应格式
• 在Amazon Data Exchange中创建新产品，关联这个API Gateway接口并设置订阅规则

内容的提问来源于stack exchange，提问作者bob