Kafka+Couchbase部分更新失败重试的数据冲突解决方案咨询

问题场景 #

我在Couchbase中以productId为文档ID存储产品数据，结构如下：

{
    "size": "",
    "colour": "",
    "category": "",
    "updatedDate": ""
}

通过监听Kafka主题获取产品的部分更新事件（事件可包含任意字段组合），但遇到以下一致性问题：

1. 初始文档：

{
    "size": "M",
    "colour": "Black",
    "category": "Sweat",
    "updatedDate": "2022-11-11T12:12:12"
}

2. 13:13收到更新事件，因Couchbase不可用写入失败，进入重试队列：

{
    "category": "Jean",
    "colour": "Brown",
    "eventTimeStamp": "2022-11-11T13:13:13"
}

3. 14:14收到新的更新事件，成功写入Couchbase，文档变为：

{
    "size": "M",
    "colour": "Yellow",
    "category": "Sweat",
    "updatedDate": "2022-11-11T14:14:14"
}

4. 后续消费重试队列中的旧事件时，若忽略则category保留旧值；若全量写入则colour被覆盖为旧值，两种方式都导致数据不一致。

可行解决方案（排除单字段存更新时间的方案） #

1. 事件溯源模式（推荐） #

放弃直接更新Couchbase文档的方式，改用事件溯源：

• 将所有更新事件（包括重试事件）持久化到一个不可变的Kafka事件日志主题，确保所有事件都被留存
• 维护一个投影服务，负责按productId聚合所有事件，按eventTimeStamp升序重放，生成最新的文档状态写入Couchbase
• 当Couchbase恢复后，无需单独处理重试事件，只需触发对应productId的事件重放，投影服务会自动按时间顺序合并所有字段的正确值，最终得到一致的文档

2. 重试事件的字段级过滤更新 #

处理重试事件时，先回溯该productId在重试事件eventTimeStamp之后的所有更新事件：

1. 从Kafka主主题中拉取该productId在2022-11-11T13:13:13之后的所有事件，收集这些事件中修改过的字段（此例中为colour）
2. 过滤重试事件中的字段，只保留那些后续事件未修改过的字段（此例中为category）
3. 针对过滤后的字段执行Couchbase部分更新，避免覆盖已被后续事件修改的字段
4. 可选：更新updatedDate为当前文档updatedDate与重试事件eventTimeStamp的最大值（确保时间戳准确性）

3. 事件携带基准时间戳的条件更新 #

修改更新事件的结构，增加一个baseUpdatedDate字段（即事件生成时，目标文档的最新updatedDate）：

{
    "category": "Jean",
    "colour": "Brown",
    "eventTimeStamp": "2022-11-11T13:13:13",
    "baseUpdatedDate": "2022-11-11T12:12:12"
}

处理重试事件时，执行条件更新：

• 首先检查当前文档的updatedDate是否等于baseUpdatedDate：如果相等，说明文档未被后续修改，直接执行全量部分更新
• 如果不相等，说明文档已被后续修改，触发字段过滤逻辑（同方案2），只更新后续未修改的字段

内容的提问来源于stack exchange，提问作者javac