如何避免Azure Cosmos容器并发查询选中相同数据行

针对你在Azure Cosmos容器上横向扩展轮询器、避免实例重复选数的需求，以下是几种无需乐观锁（先选再拒）、直接在查询阶段实现数据集隔离的方案：

方案1：基于实例ID的哈希分片查询 #

利用Cosmos DB内置函数，结合每个轮询实例的唯一索引（比如0、1），通过哈希取模直接过滤出当前实例的专属数据集。

查询示例（2个实例场景） #

如果用记录ID做分片依据：

SELECT * FROM c 
WHERE MOD(HASH(c.id), 2) = {instanceIndex} -- instanceIndex为0或1，对应不同实例
ORDER BY c._ts DESC 
LIMIT 100

如果用时间戳_ts做分片依据：

SELECT * FROM c 
WHERE MOD(c._ts, 2) = {instanceIndex}
ORDER BY c._ts DESC 
LIMIT 100

• 核心逻辑：把所有记录按唯一标识的哈希值均匀分配到不同实例，每个实例只查询自己分片内的记录，从根源避免重复。

方案2：基于时间范围的分段轮询 #

如果业务允许按时间窗口拆分，可以让不同实例负责不同的时间区间，完全隔离查询范围：

查询示例（2个实例场景，按5分钟窗口拆分） #

-- 实例0：查询5-10分钟前的记录（_ts为秒级时间戳）
SELECT * FROM c 
WHERE c._ts >= (UNIX_TIMESTAMP() - 600) AND c._ts < (UNIX_TIMESTAMP() - 300)
ORDER BY c._ts DESC 
LIMIT 100

-- 实例1：查询0-5分钟前的记录
SELECT * FROM c 
WHERE c._ts >= (UNIX_TIMESTAMP() - 300) AND c._ts < UNIX_TIMESTAMP()
ORDER BY c._ts DESC 
LIMIT 100

• 优势：无需依赖记录的唯一标识，逻辑简单易维护；可定期轮换时间区间，避免实例负载不均。
• 注意：需确保时间区间无重叠，同时定期调整窗口覆盖所有未处理记录。

方案3：自定义分片键预分配 #

在写入数据时，给每条记录添加一个自定义字段（比如shardKey），取值为0或1（对应实例数量），写入时均匀分配值。轮询时每个实例只查询对应shardKey的记录：

查询示例 #

SELECT * FROM c 
WHERE c.shardKey = {instanceIndex}
ORDER BY c._ts DESC 
LIMIT 100

• 核心逻辑：从数据写入阶段就完成分片，轮询实例直接读取专属分片，完全避免重复选数。
• 注意：写入逻辑需保证shardKey均匀分配，防止某实例负载过高。

方案4：偏移量分段查询 #

维护一个全局偏移标记（存储在Cosmos DB的配置文档中），记录上次处理到的_ts值。每个实例查询时按实例数量拆分偏移范围：

1. 先获取当前最大_ts：SELECT MAX(c._ts) AS maxTs FROM c
2. 计算实例专属时间范围：实例0处理[lastProcessedTs, lastProcessedTs + (maxTs - lastProcessedTs)/2)，实例1处理后半段
3. 查询对应范围的记录，处理完成后更新全局偏移标记（用Cosmos DB的_etag保证更新原子性）

• 适合需要按顺序处理记录的场景，确保每条记录只被一个实例处理。

内容的提问来源于stack exchange，提问作者Arunim