多API场景下DynamoDB Stream同步至Elasticsearch的最佳实践咨询

一、字段更新识别与局部更新问题解决 #

针对无法识别更新字段、全量覆盖ES文档导致字段丢失的问题，可按优先级选择以下两种方案：

• 方案1：API层埋点（改造成本低、准确性最高）
  所有对DynamoDB的写入请求，在API层统一追加3个系统内置元字段，业务层无需感知该字段存在：
  • _api_source：标记请求来源接口，可选值 users_api/products_api
  • _http_method：标记请求对应的HTTP方法，可选值 POST/PUT/PATCH/DELETE
  • _updated_fields：数组类型，存储本次请求实际更新的字段名，例如更新用户name、email时该值为 ["name", "email"]
    消费Stream时直接读取_updated_fields字段，调用ES的局部更新接口完成写入，避免全量覆盖：

  POST /users/_doc/user#19201/_update
  {
    "doc": {
      "name": "new_username",
      "email": "new_user@email.com"
    }
  }
  

• 方案2：Stream新旧映像对比（无侵入、无需改业务代码）
  将DynamoDB Stream的输出模式调整为NEW_AND_OLD_IMAGES，消费时逐条对比同一条记录的新映像、旧映像的字段差异，自动生成变更字段列表，后续同样调用ES局部更新接口写入即可。该方案无需修改现有业务代码，仅需调整Stream配置和消费逻辑。

二、多索引路由适配问题解决 #

针对无法按业务类型分索引存储的问题，可按优先级选择以下两种方案：

• 方案1：元字段路由（适配性强）
  直接读取上文提到的_api_source元字段值，匹配到对应ES索引：users_api路由到users索引，products_api路由到products索引即可。
• 方案2：PK前缀路由（零侵入、改造成本最低）
  不需要修改任何业务代码，直接解析DynamoDB记录的主键前缀：主键为user#开头的记录路由到users索引，主键为product#开头的记录路由到products索引，适配现有主键命名规则即可实现分索引存储。

推荐完整同步链路 #

1. DynamoDB开启NEW_AND_OLD_IMAGES模式的Stream
2. 用Lambda/Kinesis Consumer作为Stream消费组件，消费逻辑按顺序执行：
   • 解析记录主键前缀/_api_source字段，确定目标ES索引
   • 对比新旧映像或读取_updated_fields得到变更字段集合
   • 调用ES_update接口做局部更新，若为新增/删除场景则调用对应全量写入/删除接口
3. 增加兜底逻辑：如果变更字段识别失败，直接回查DynamoDB对应主键的全量最新数据，再写入ES避免数据缺失。

内容的提问来源于stack exchange，提问作者andrew007