如何通过Azure Function等方式离线捕获Cosmos DB变更数据且不影响在线性能

这个需求太典型了——很多团队都需要在不影响Cosmos DB在线业务的前提下，把变更数据同步到离线系统做ETL和分析，完全对标Oracle离线重做日志的使用场景。我之前帮团队搭建过类似的 pipeline，下面分享几个靠谱的方案：

1. 首选方案：Cosmos DB Change Feed + Azure Function #

这是官方推荐的无侵入式变更捕获方案，完全不会干扰在线的读写操作——因为Change Feed是直接读取Cosmos DB底层的变更日志，和业务流量完全隔离。

核心优势： #

• 异步增量捕获：只会返回自上次处理以来的新增/更新文档，不需要全表扫描
• 高可靠：通过租约容器跟踪处理进度，即使Function实例重启也不会丢数据或重复处理
• 完全无侵入：对在线Web/移动应用的API读写性能零影响

实现步骤： #

• 准备一个租约容器（可自动创建），用来存储每个Function实例的处理游标
• 创建带Cosmos DB Change Feed触发器的Azure Function，示例代码（C#）：

using Microsoft.Azure.Functions.Worker;
using Microsoft.Azure.Functions.Worker.Extensions.CosmosDB;

public class CosmosChangeFeedProcessor
{
    [Function("ProcessCosmosChanges")]
    public void Run([CosmosDBTrigger(
        databaseName: "YourOperationalDB",
        containerName: "UserTransactions",
        Connection = "CosmosDB_ConnectionString",
        LeaseContainerName = "changeFeedLeases",
        CreateLeaseContainerIfNotExists = true,
        StartFromBeginning = true)] IReadOnlyList<TransactionDocument> changedDocs,
        FunctionContext context)
    {
        var logger = context.GetLogger("CosmosChangeFeedProcessor");
        if (changedDocs?.Count > 0)
        {
            logger.LogInformation($"开始处理 {changedDocs.Count} 条变更数据");
            // 这里编写你的离线ETL逻辑：比如写入Azure Data Lake、Synapse Analytics或者离线SQL库
            foreach (var doc in changedDocs)
            {
                // 处理单条文档：转换格式、聚合、写入离线存储等
            }
        }
    }
}

• 配置Function的并发数：根据你的ETL吞吐量需求调整，避免成为瓶颈

2. 全量初始化+增量同步（对标Oracle全备+重做日志） #

如果你的离线系统需要先获取全量历史数据，再跟进实时变更，可以用这个组合：

• 第一步：导出Cosmos DB的全量备份到离线存储（比如ADLS），用来初始化你的分析库
• 第二步：用上面的Change Feed Function从备份完成的时间点开始捕获增量变更，确保数据的一致性
• 优势：既覆盖历史数据，又能持续同步新变更，完全不影响在线业务

3. 备选方案：Azure Event Grid（适合事件驱动型场景） #

如果你的ETL只需要捕获特定类型的变更（比如文档创建/删除），可以用Event Grid：

• 给Cosmos DB容器配置Event Grid事件订阅，把变更事件推送到Azure Function或者Event Hub
• 同样是异步无侵入，不过相比Change Feed，它的粒度更细（单文档事件），适合实时通知类场景，但批量ETL的效率不如Change Feed

关键性能保障要点： #

• 永远不要直接在在线Cosmos DB容器上做查询来捕获变更（比如按时间戳过滤），这会占用RU影响业务
• 租约容器要配置足够的RU，避免成为Change Feed处理的瓶颈
• 离线ETL的写入操作要和在线业务完全隔离，不要让分析流量回流到在线Cosmos DB

内容的提问来源于stack exchange，提问作者user2941026