Docker中Elasticsearch至AWS DynamoDB、DocumentDB传输通道搭建咨询
本地Docker部署Elasticsearch同步至AWS DynamoDB与DocumentDB实操指引
一、链路搭建全流程准备配置
- AWS侧身份与网络权限准备
- 新建独立的IAM访问身份,按照最小权限原则配置权限:对DynamoDB仅开放批量写入、单条写入的操作权限,对DocumentDB集群配置具备集合写入权限的数据库账号
- 调整DocumentDB集群的安全组规则,放行本地Docker所在机器的公网出口IP的27017端口访问权限,提前导出DocumentDB集群的TLS根证书供同步组件使用
- 本地提前测试连通性,确认能正常访问目标AWS区域的DynamoDB服务端点
- 本地ES侧准备
- 在原有Docker Compose配置中新增自定义桥接网络,将ES、Kibana容器加入同一网络,不需要把ES的9200端口暴露到公网,后续同步组件直接通过容器名就能访问ES服务
- 梳理待同步索引的字段结构,提前定好字段映射规则:比如ES里的嵌套对象、数组类型转成DynamoDB/DocumentDB对应格式的逻辑,别等同步的时候才出现格式不兼容的报错
- 给同步组件开放ES索引的元数据、全量数据的读取权限,保证能正常拉取数据、记录同步位点
- AWS目标端准备
- 在DynamoDB侧提前创建好目标数据表,定义好主键、排序键结构,配置匹配业务写入量的吞吐模式
- 在DocumentDB侧提前创建好对应的数据库与集合,配好常用查询的索引,提前摸清集群当前可承载的最大写入速度,别同步的时候大流量把集群打挂,影响正常业务读写
二、稳定数据传输通道搭建方案
这里给两个适配不同阶段的方案,不用上来就搞复杂的生产级架构:
- 方案1:低开发成本的Logstash直连通道(适合新手快速落地)
直接用Elastic官方配套的Logstash组件搭链路,完全不用写自定义代码,靠配置就能跑通:- 同样以Docker容器方式部署Logstash,把它加到之前创建的ES自定义桥接网络里,输入源配置为本地ES容器的9200端口,再分别配置两个输出插件,一个对接DynamoDB写入,一个对接DocumentDB写入
- 稳定性核心配置要拉满:开启同步位点持久化,把已经同步完的ES文档位置写到Logstash容器挂载的本地目录里,不管是进程重启、容器崩了,都不会出现重复拉数据、漏拉数据的问题;配置批量写入触发阈值,比如每攒够500条文档、或者等1秒就触发一次批量写入,别一条条打,浪费网络和服务端性能;配置失败重试机制,遇到网络抖动的时候用指数退避策略重试,所有重试好几次都失败的文档,直接写到本地挂载的死信队列里,支持后续手动补传,绝对不丢数据
- 网络层面不用额外打通专线,Logstash容器通过本地宿主机的公网出口访问AWS服务就行,所有通信走加密HTTPS/TLS通道就行
- 方案2:生产级托管通道(适合长期稳定运行的场景)
如果后续业务数据量涨上来、对同步可靠性要求更高,就用AWS托管服务搭通道,不用自己天天运维同步组件:- 先在本地ES的ingest pipeline里配置输出连接器,把ES里新增、修改的文档实时发到AWS Kinesis数据流里
- 基于Kinesis Firehose配两条独立的投递分支,做完数据格式转换之后分别投到DynamoDB和DocumentDB。这个通道本身自带自动扩缩容、数据持久化、失败重试的能力,不用自己写代码做稳定性兜底
- 新手阶段可以直接用AWS服务的公网HTTPS端点完成通信,等后续对网络延迟、安全性要求更高了,再通过AWS Client VPN打通本地Docker环境和AWS VPC的连接就行
三、可落地学习资源参考
- 官方配置文档类:Logstash对接DynamoDB输出插件的参数说明、Logstash对接Mongo兼容协议服务(也就是DocumentDB)的配置指引、ES容器网络配置的最佳实践、IAM最小权限策略的生成步骤、Kinesis Firehose多目标投递的配置说明
- 实操教程类:Logstash断点续传功能的配置步骤、死信队列的使用方法、DocumentDB公网访问的配置流程、DynamoDB表结构设计的入门指引
内容的提问来源于stack exchange,提问作者firefighter
相关产品推荐
相关产品推荐

