Cosmos DB如何实现指定字段规则的重复数据写入拦截

分区键相关问题解答 #

• Cosmos DB 没有内置类似DynamoDB的/字段1#字段2自动拼接组合分区键能力，如果要使用多字段组合作为分区键，需要在写入文档时自行计算拼接/哈希后的组合值，作为文档的一个顶层字段存储，再将该字段指定为分区键。
• 你当前使用id作为分区键的配置完全无法支撑当前的去重需求：Cosmos DB的所有唯一键约束仅在单个分区内生效，不同分区的文档即使唯一键值完全相同也可以正常写入，因此要实现数据库层的重复拦截，必须调整分区键到和去重逻辑匹配的维度，这是必要前提。

数据库层面可落地的去重实现方案 #

唯一键不支持数组字段的限制是确实存在的，在不改动现有业务文档结构的前提下，唯一可行的低RU成本数据库层方案是「冗余去重键+唯一键约束」方案，具体实现逻辑：

1. 写入文档前，在业务侧计算去重标识：提取文档的name字段，同时遍历addresses数组下所有元素的city、state、zipCode字段，先对地址条目按固定规则排序（避免地址顺序不同但内容一致导致的漏判），再把所有字段按固定分隔符拼接成字符串，可对长字符串做哈希缩短长度，最终生成一个全局唯一对应重复判定维度的字符串值。
2. 将生成的去重标识作为新增的顶层字段（比如命名为_dedupKey）存入文档，这个字段是纯冗余字段，不会影响现有业务字段的结构和逻辑。
3. 新建容器时，将/_dedupKey设置为分区键，同时配置路径为/_dedupKey的唯一键约束。

配置完成后，所有命中重复判定规则的文档，写入时会直接被数据库层面的唯一键约束拦截返回冲突错误，不需要额外执行任何查询校验操作，没有额外的RU开销，高并发场景下也不会出现竞态漏判的问题。

存量数据迁移到新容器前，只需要批量给所有存量文档补算_dedupKey字段即可，不需要修改任何原有业务字段。

不推荐使用服务端预触发器/存储过程做写入前校验：这类方案不仅会产生额外的查询RU消耗，在高并发写入场景下依然存在竞态条件导致重复数据写入，可靠性远低于原生唯一键约束。

业务层兜底方案提示 #

如果暂时无法完成容器迁移和分区键调整，业务层校验不要做全容器扫描查询，至少要以name等确定的字段作为过滤条件缩小查询范围，可以大幅降低RU消耗，但这种方案依然无法彻底避免高并发下的竞态漏判问题，只适合作为临时过渡方案。

内容的提问来源于stack exchange，提问作者GThree