AWS Elasticsearch集群从6.3升级至7.x的全流程及相关技术问询

1. AWS ES集群版本升级的端到端流程是什么？ #

• 前置检查：确认集群状态为绿色，所有节点正常运行无异常任务；核对目标7.x版本支持当前集群的实例类型、存储配置；提前调整应用代码适配7.x的API变化（比如移除自定义类型的相关逻辑）。
• 备份集群：完成全量快照备份到S3存储桶（具体操作见问题3）。
• 发起升级：在AWS控制台选中目标集群，点击顶部「Actions」→「Upgrade domain」，选择对应7.x版本，确认插件自动安装选项（如有需要）后提交升级请求。
• 等待升级完成：AWS会自动执行滚动升级，先升级主节点再升级数据节点，期间集群可能短暂处于黄色状态，待所有节点完成版本切换后恢复绿色。
• 验证结果：确认集群版本、节点状态及业务可用性（见问题5）。

2. 升级后会产生哪些影响？ #

• API兼容性变化：彻底移除多类型支持，所有新索引只能使用_doc类型；/_all端点、类型相关查询参数等旧API被废弃或移除，应用需适配调整。
• 插件限制：旧版本第三方插件大概率无法在7.x运行，需替换为兼容7.x的版本或AWS官方支持插件。
• 临时性能波动：升级过程中节点滚动重启，会出现短暂的查询延迟升高、写入吞吐量下降，完成后恢复正常。
• 旧索引兼容：6.x创建的带自定义类型的索引仍可正常读写，但无法再创建新的自定义类型索引。
• 监控指标调整：部分旧监控指标被替换，需同步更新CloudWatch告警规则或监控面板。

3. 是否需要进行特定的备份操作？ #

• 必须执行备份操作，这是升级前的核心保障步骤：
  1. 准备一个S3存储桶，配置ES集群的IAM角色，赋予该角色读写该桶的权限。
  2. 进入ES集群的「Snapshot and restore」页面，创建手动快照，选择所有索引，等待快照生成完成。
  3. 验证快照完整性，确保可以正常恢复。
• 原因：升级过程中可能出现节点故障、兼容性异常等意外，快照是唯一可靠的回滚手段。

4. 如何在AWS集群中执行升级操作？ #

控制台方式 #

1. 登录AWS管理控制台，进入Elasticsearch Service页面。
2. 选中要升级的集群，进入详情页。
3. 点击顶部「Actions」→「Upgrade domain」。
4. 在弹窗中选择目标7.x版本（注意AWS ES支持的7.x版本范围，如7.10），确认插件自动安装选项后点击「Upgrade」。

CLI方式 #

使用AWS CLI执行命令：

aws es upgrade-domain --domain-name your-domain-name --target-version 7.10 --perform-check-only false

注意：升级前必须确保集群状态为绿色，否则无法发起升级请求。

5. 升级完成后，是否需要开展验证工作？ #

• 必须开展全面验证，核心验证点包括：
  • 集群状态：确认集群恢复绿色，所有节点均运行在目标7.x版本。
  • 索引可用性：验证原有索引可正常读写，查询结果与升级前一致。
  • 应用兼容性：测试应用与ES集群的所有交互逻辑，确保API调用正常（如替换类型参数后的请求可正确执行）。
  • 插件状态：检查所有插件运行正常，无报错日志。
  • 性能指标：查看CloudWatch中的CPU、内存、磁盘使用率，以及查询/写入延迟，确保性能符合业务预期。
  • 备份功能：测试创建新快照，确认快照功能正常。

6. 重新索引操作应在何时执行？是否需在集群升级完成后进行？ #

• 两种时机均可，各有优势：
  1. 升级前（6.3集群上）：先创建使用_doc类型的新索引，配置好兼容7.x的映射，再执行重新索引将旧索引数据同步到新索引。升级完成后可直接切换应用到新索引，大幅减少升级后的业务中断时间。
  2. 升级后（7.x集群上）：若升级前未完成，也可在7.x集群执行重新索引，但需注意目标索引必须使用_doc类型，且要验证数据完整性及应用适配情况。
• 无论哪种时机，都要确保重新索引后的数据完整，且应用已适配新的_doc类型索引。

内容的提问来源于stack exchange，提问作者Ayesha