如何通过CosmosDB变更源追踪文档的具体字段变更？

我尝试用Cosmos DB Change Feed追踪文档变更，但只能收到文档的完整快照，无法得知具体哪些字段发生了变更（比如zipcode从260000变为260007）。有没有办法获取更具体的变更信息？

代码示例 #

public static class Function1
{
    [FunctionName("Function1")]
    public static void Run([CosmosDBTrigger(
        databaseName: "testdb1",
        collectionName: "container1",
        ConnectionStringSetting: "cosmosDB",
        LeaseCollectionName: "leases",
        CreateLeaseCollectionIfNotExists=true)]IReadOnlyList<Document> input,
        ILogger log)
    {
        if (input != null && input.Count > 0)
        {
            log.LogInformation("Documents modified " + input.Count);
            log.LogInformation("First document Id " + input[0].Id);
            foreach (var document in input)
            {
                log.LogInformation(document.ToString());
            }
        }
    }
}

日志输出 #

[2022-12-15T05:10:16.474Z] Executing 'Function1' (Reason='New changes on collection container1 at 2022-12-15T05:10:16.4737538Z', Id=...)
[2022-12-15T05:10:16.475Z] Documents modified 1
[2022-12-15T05:10:16.476Z] First document Id replace_with_new_document_id4
[2022-12-15T05:15:02.529Z] {
[2022-12-15T05:15:02.539Z]   "id": "replace_with_new_document_id4",
[2022-12-15T05:15:02.581Z]   "zipcode": 260007,
[2022-12-15T05:15:02.635Z]   "_rid": "jF5sAMiuSV4EAAAAAAAAAA==",
[2022-12-15T05:15:02.644Z]   "_self": "dbs/jF5sAA==/colls/jF5sAMiuSV4=/docs/jF5sAMiuSV4EAAAAAAAAAA==/",
[2022-12-15T05:15:02.646Z]   "_etag": "\"7001f717-0000-0700-0000-639aac360000\"",
[2022-12-15T05:15:02.647Z]   "_attachments": "attachments/",
[2022-12-15T05:15:02.648Z]   "_ts": 1671081014,
[2022-12-15T05:15:02.663Z]   "_lsn": 62
[2022-12-15T05:15:02.664Z] }

解决方案 #

1. 启用Cosmos DB版本历史并对比新旧版本 #

Cosmos DB的版本历史功能会自动保留文档的历史版本，你可以在Change Feed中拿到当前文档后，获取其前一个版本，再对比字段差异：

• 首先在容器配置中开启版本历史（可通过Azure门户或SDK设置，需指定保留的版本数量）。
• 在触发函数中，使用Cosmos Client获取文档的历史版本：

  var cosmosClient = new CosmosClient(Environment.GetEnvironmentVariable("cosmosDB"));
  var container = cosmosClient.GetContainer("testdb1", "container1");
  // 获取当前文档的前一版本
  var previousVersion = await container.ReadItemAsync<dynamic>(document.Id, new PartitionKey(document.GetPropertyValue<string>("partitionKey")), 
      new ItemRequestOptions { Version = document.ETag });
  // 对比字段差异
  var oldZipcode = previousVersion.Resource.zipcode;
  var newZipcode = document.GetPropertyValue<int>("zipcode");
  if (oldZipcode != newZipcode)
  {
      log.LogInformation($"zipcode变更：{oldZipcode} → {newZipcode}");
  }
  

• 注意：版本历史会占用额外存储，需根据业务需求设置保留期限。

2. 业务层自定义变更日志 #

在更新文档的代码中，主动记录变更的字段和新旧值，比如给文档添加changeLog数组字段：

• 更新文档时，记录变更：

  var updateDoc = new {
      id = "replace_with_new_document_id4",
      zipcode = 260007,
      changeLog = new[] {
          new {
              field = "zipcode",
              oldValue = 260000,
              newValue = 260007,
              timestamp = DateTime.UtcNow.ToString("o")
          }
      }
  };
  await container.ReplaceItemAsync(updateDoc, updateDoc.id, new PartitionKey(updateDoc.id));
  

• 在Change Feed触发函数中，直接读取changeLog字段获取具体变更：

  foreach (var document in input)
  {
      var changeLog = document.GetPropertyValue<JArray>("changeLog");
      if (changeLog != null)
      {
          foreach (var change in changeLog)
          {
              log.LogInformation($"字段{change["field"]}变更：{change["oldValue"]} → {change["newValue"]}");
          }
      }
  }
  

• 优点是无需依赖Cosmos DB额外功能，灵活性高；缺点是需要修改业务更新逻辑。

3. 在Lease容器存储上次快照对比 #

如果你不需要保留完整历史，也可以在Lease容器中存储每个文档的上次快照，每次触发时对比当前文档和存储的快照：

• 在Lease文档中添加lastDocumentSnapshot字段，存储上次处理的文档内容。
• 每次处理Change Feed时，取出Lease中的快照，和当前文档对比差异，更新Lease中的快照。
• 注意：这种方式会增加Lease容器的存储和读写操作，需考虑性能影响。

内容的提问来源于stack exchange，提问作者Ethan Hou