AWS Data Pipeline 长查询场景下SQLActivity导出MySQL结果至S3 CSV的方案咨询
已开展的尝试

- 用户已完成全流程配置,核心目标为将MySQL查询的输出结果以CSV格式存储至指定S3路径
- 经运行日志核验,已确认流程内的SQL查询环节成功执行
- 实际校验发现,预先配置的S3输出路径下,没有生成对应的结果文件
核心问题背景
- 此前用户已成功使用CopyActivity完成同类导出操作
- 当前业务场景下的SQL查询内容过长,触及10240字符的长度上限,无法直接在CopyActivity内配置使用
- 经前期资料检索验证,可将长SQL脚本文件预先存储至S3,通过SQLActivity配置
Script URI参数指向该S3路径上的SQL脚本完成查询执行 - 目前实测发现,仅CopyActivity支持在目标S3路径生成并存储CSV格式的结果文件
待明确的技术问询
- 针对超出长度限制的长查询场景,是否存在可行适配方案,仍可通过CopyActivity完成S3 CSV结果导出?
- 是否存在经过验证的有效配置方法,可通过SQLActivity直接在指定S3路径生成CSV格式的MySQL查询结果文件?
- 拆分长SQL查询逻辑,是否为当前场景下唯一可落地的解决路径?
内容的提问来源于stack exchange,提问作者Tenten Ponce
相关产品推荐
相关产品推荐

