如何将DynamoDB导出的JSON文件数据导入AWS托管ElasticSearch服务？

目前AWS官方的托管Elasticsearch服务已更名为Amazon OpenSearch Service，以下方案均兼容新旧版本服务。

方案1：AWS Glue + OpenSearch官方连接器（无服务器，最适合大型文件） #

该方案是超大文件导入的首选，无需自行维护计算资源，自动适配文件规模扩容。

• 第一步将你的行分隔JSON文件上传到S3存储桶，作为统一数据源
• 在AWS Glue控制台创建爬虫，扫描S3上的JSON文件，自动推断表结构，Glue原生支持行分隔JSON格式，无需额外格式转换配置
• 在AWS Marketplace订阅免费的Amazon OpenSearch Service Glue 官方连接器，授权Glue运行时访问权限即可
• 创建Glue ETL作业，源端选择爬虫生成的表，目标端选择OpenSearch连接器，配置你的OpenSearch集群端点、目标索引名、身份认证信息（开启IAM权限控制的话直接给Glue执行角色配置OpenSearch访问权限，开启基础认证则填写用户名密码）
• 可在作业中添加字段映射步骤，将DynamoDB导出的字段类型对应到OpenSearch的索引规则，也可以提前在OpenSearch侧建好索引模板，避免自动映射出现类型错误
• 直接运行作业即可，Glue会自动分片处理大文件，按最优批次提交bulk请求到OpenSearch，自带失败重试、错误日志导出到CloudWatch/S3的能力

优点：无服务器免运维，自动处理断点续传，支持TB级超大文件，无需编写业务代码。

方案2：Logstash（适合中小文件、有自定义数据处理需求的场景） #

如果你需要在导入前做字段清洗、转换，该方案灵活度更高。

• 将JSON文件放到运行Logstash的机器本地，或者直接放在S3上
• 配置Logstash输入插件：本地文件用file插件，指定codec => json_lines解析行分隔JSON；S3存储的文件用s3输入插件即可
• 配置输出插件为opensearch（旧版ES也可以用elasticsearch插件），填写OpenSearch集群端点、目标索引名、认证信息，调整batch_size参数，单批数量建议设为1000-5000条，根据你的集群规格调整避免写入过载
• 可按需添加filter插件做自定义处理，比如删除DynamoDB导出的冗余字段、修改字段名、转换字段类型

优点：配置简单，灵活度高，适合需要复杂数据转换的场景。
注意：如果文件量级很大，需要给Logstash实例配置足够的内存和带宽，避免处理过慢。

方案3：自定义脚本（适合几GB以内的小文件、特殊定制需求场景） #

如果文件规模很小，不想配置额外服务，可以自己写脚本快速处理。

• 用对应语言的JSON库逐行读取文件，不要一次性加载整个文件到内存避免OOM
• 按批次攒够1000-3000条文档，拼接为OpenSearch的bulk请求格式：每两条为一组，第一条是{"index":{}}元数据，第二条是对应文档内容
• 用opensearch-py（Python）或者官方Java SDK提交批量请求，添加异常捕获逻辑，处理批量请求中的失败条目自动重试
• 可添加进度条监控导入进度

优点：逻辑完全可控，适合小文件快速导入。
注意：大文件不要使用该方案，自行处理扩容、重试、错误的成本极高。

通用优化注意事项 #

不管使用哪个方案，导入前做以下配置可以大幅提升导入速度和成功率：

1. 导入前临时将OpenSearch目标索引的refresh_interval设为-1，关闭副本，导入完成后再改回正常值，可提升数倍写入速度
2. 提前在OpenSearch侧建好索引映射，不要依赖服务的自动映射能力，避免字段类型不匹配导致写入失败
3. 确保数据源和OpenSearch集群在同一个AWS区域，跨区域导入会产生额外流量费用，还会大幅降低写入速度
4. 如果使用IAM权限控制OpenSearch访问，确保对应的执行角色（Glue角色、Logstash角色、脚本执行角色）有es:ESHttpPost、es:ESHttpPut权限

内容的提问来源于stack exchange，提问作者Venkat Papana