蓝绿部署模式下从Elastic Search 6.8迁移至AWS OpenSearch 1.3的问题

一、索引模板与映射适配 #

• 虽已将映射类型从person改为_doc，需重点验证模板的索引模式匹配逻辑：OpenSearch 1.3对模板优先级、模式匹配规则与ES6.8存在差异，可通过GET _cat/templates?v确认模板是否加载，GET /_index_template/<模板名>查看模板细节，确保模板正确应用到目标索引。
• 彻底移除类型相关冗余配置：OpenSearch已完全移除类型概念，需检查模板中是否残留type字段配置，包括嵌套映射内的类型声明。
• 校验字段数据类型兼容性：ES6.8部分字段类型的默认行为（如text的fielddata、date的格式）在OpenSearch 1.3中有变更，需确保ETL输出的字段格式与模板定义完全匹配，比如统一日期格式。

二、EMR Spark作业适配 #

• 替换连接器版本：ES6.8使用的elasticsearch-hadoop连接器不兼容OpenSearch 1.3，需更换为官方opensearch-spark连接器（匹配EMR集群的Spark版本，如Spark 3.x对应opensearch-spark-30_2.12系列jar包）。
• 调整写入配置：将Spark配置中的es.nodes改为OpenSearch集群端点，es.port设为443（HTTPS模式），添加es.net.ssl=true启用SSL；同时移除es.mapping.type配置。
• 增强日志输出：在Spark作业中添加详细日志配置，比如设置log4j.logger.org.apache.spark.sql.execution.datasources.v2=DEBUG，或启用es.batch.write.retry.count、es.batch.write.retry.wait并捕获写入异常，解决日志过少无法排查的问题。

三、蓝绿部署流程特殊适配 #

• 新集群预验证：切换DNS前，需完成以下检查：
  • 用GET _cluster/health确认集群状态为green
  • 通过GET /<索引名>/_count对比预期数据量，GET /<索引名>/_search抽样验证数据格式，确保索引创建与数据加载正常
• 保障DNS切换原子性：设置DNS TTL为短时间（如60秒），减少切换期间流量波动；需等待新集群完全就绪、数据验证通过后，再销毁旧集群，避免提前删除导致的服务中断。
• 调整CloudFormation模板：
  • 确认OpenSearch集群配置：比如InstanceType是否兼容1.3版本，VPC、安全组配置是否允许EMR集群访问OpenSearch端口
  • 移除ES6.8特有配置：如ZenDiscovery相关参数，替换为OpenSearch的ClusterConfig配置

四、数据加载失败排查步骤 #

• 查看OpenSearch集群日志：在AWS控制台启用并查看慢日志和错误日志，重点搜索indexing相关错误，比如字段类型不匹配、模板应用失败等信息。
• 手动测试单条数据写入：在EMR集群用curl命令写入测试数据，验证集群写入能力：

  curl -XPUT 'https://<opensearch-endpoint>/<索引名>/_doc/1' -H 'Content-Type: application/json' -d '{"name": "test", "age": 30}'
  

• 校验ETL输出数据：确认Spark处理后的数据是否符合OpenSearch模板要求，排查字段缺失、数据类型错误（如字符串格式的数字）等问题。

内容的提问来源于stack exchange，提问作者Mariana