从传统Elasticsearch集群迁移至Elasticsearch Serverless的可行方案

远程Reindex API确实不支持在Elasticsearch Serverless模式下使用，以下是几种可行的迁移方案：

1. 快照与恢复 #

• 在源Elasticsearch集群创建快照仓库（支持S3、Azure Blob Storage等兼容对象存储），将需要迁移的索引生成快照存储到该仓库。
• 在Serverless集群中配置同一个快照仓库（确保存储权限配置正确，Serverless集群能访问该仓库）。
• 从快照仓库中恢复指定索引到Serverless集群。
• 注意事项：需确保源集群快照的Elasticsearch版本与Serverless集群支持的版本兼容；迁移前检查索引的映射、设置是否符合Serverless的限制（比如部分插件专属的字段类型不被支持）。

2. Logstash迁移 #

• 配置Logstash的elasticsearch输入插件，连接源集群并指定要迁移的索引，配置合适的批量读取参数。
• 配置elasticsearch输出插件，连接Serverless集群的端点，设置目标索引名称，调整批量写入参数以适配Serverless的限流规则。
• 支持全量迁移与增量迁移：增量迁移可通过跟踪数据中的时间字段（如@timestamp）实现，确保后续新增数据同步。
• 注意事项：使用与源集群、Serverless集群版本兼容的Logstash版本，正确配置Serverless集群的访问密钥与端点地址。

3. 自定义客户端脚本 #

• 使用Elasticsearch官方客户端（如Python、Java客户端）编写迁移脚本：
  • 利用滚动搜索（Scroll）或时间点搜索（Point-in-Time）功能从源集群批量读取数据。
  • 调用批量写入接口将数据发送到Serverless集群的目标索引。
  • 脚本中可加入错误重试、进度统计、数据校验逻辑，保障迁移完整性。
• 注意事项：控制批量写入的速率，避免触发Serverless集群的限流；提前验证数据格式、字段映射与目标集群的兼容性。

内容的提问来源于stack exchange，提问作者David Santiago Gantiva Castro