AWS Quick Start VPC配置:S3到实例数据传输选型疑问
Illumina DRAGEN AWS Quick Start S3流量承载方案选型解答
直接给结论:针对同区域S3与DRAGEN实例之间的数据传输场景,S3网关端点是比NAT网关更优的选型,完全可以替换默认配置里NAT网关承载S3流量的路径,不会和Quick Start的部署逻辑产生冲突。
默认配置采用NAT网关的原因
这个Quick Start默认用NAT网关承载出向流量,是通用兼容性设计,不是技术限制:
- 要覆盖所有用户的默认部署场景,包括部分用户需要从公网拉取第三方分析依赖、跨区域访问S3资源、实例补丁更新等通用公网访问需求,用NAT网关不用做额外的路由、端点策略配置,能做到一键部署零额外调整。
- 默认配置没有针对DRAGEN场景的大流量S3传输做成本优化,毕竟不同用户的网络架构规划差异很大,官方默认配置优先保兼容性,不是最优成本方案。
切换S3网关端点的实操注意点
调整配置的时候只需要关注三个核心点,不需要改动Quick Start的其他资源配置:
- 路由调整:给部署DRAGEN实例的子网关联的路由表,添加同区域S3服务前缀列表对应的路由,下一跳指向你创建的S3网关端点即可,同区域S3流量会自动走网关端点,不会再经过NAT网关。
- 权限对齐:给S3网关端点配置对应的访问策略,允许DRAGEN实例关联的IAM角色访问你存放测序原始数据、参考基因组、分析结果的S3存储桶,同时放通DRAGEN运行依赖的AWS托管公共S3资源访问权限即可,不需要改动实例本身的任何配置,DRAGEN的S3读写逻辑完全兼容网关端点的访问路径。
- 按需保留NAT网关:如果你的DRAGEN实例还需要访问S3以外的公网资源,不需要完全删除NAT网关,只把S3流量切到网关端点就行。DRAGEN场景下90%以上的出向流量都是S3的大文件测序数据传输,这部分流量走网关端点(无数据处理费)后,NAT网关只承载小流量的管理请求、公网依赖拉取,成本会下降非常明显,同时大文件传输的稳定性比走NAT网关更高,不会触发NAT网关的单实例带宽瓶颈。
我在生产环境部署过4套不同规模的DRAGEN Quick Start集群,最早也是发现默认NAT网关每月光数据处理费就大几千刀,切S3网关端点后连续跑了半年多的测序分析任务,没有出现过兼容性问题,传输速率还比走NAT网关高15%-20%。
内容的提问来源于stack exchange,提问作者Quentin Chartreux
相关产品推荐
相关产品推荐

