如何使用EF Core排查Azure Cosmos DB中的异常数据？

尝试通过以下代码从Cosmos DB的DbSet中拉取所有条目：

var list = context.MarketplaceTransactions.ToList();

执行后触发报错：

info: 8/23/2024 12:44:05.527 CosmosEventId.ExecutingSqlQuery[30100] (Microsoft.EntityFrameworkCore.Database.Command)

Executing SQL query for container 'StrangeCloudDbContext' in partition '(null)' [Parameters=[]]

SELECT c

FROM root c

WHERE (c["Discriminator"] = "MarketplaceTransaction")

info: 8/23/2024 12:44:07.788 CosmosEventId.ExecutedReadNext[30102] (Microsoft.EntityFrameworkCore.Database.Command)

Executed ReadNext (2088.0046 ms, 39.43 RU) ActivityId='cdfdac63-7605-4746-a90d-9669cf864d0e',

Container='StrangeCloudDbContext', Partition='(null)', Parameters=[]

SELECT c

FROM root c

WHERE (c["Discriminator"] = "MarketplaceTransaction")

fail: 8/23/2024 12:44:07.802 CoreEventId.QueryIterationFailed[10100] (Microsoft.EntityFrameworkCore.Query)

An exception occurred while iterating over the results of a query for context type 'StrangeCloud.Api.Data.StrangeCloudDbContext'.

System.InvalidOperationException: Nullable object must have a value.

at lambda_method14(Closure, QueryContext, JObject)

at Microsoft.EntityFrameworkCore.Cosmos.Query.Internal.CosmosShapedQueryCompilingExpressionVisitor.QueryingEnumerable`1.Enumerator.MoveNext()

数据库有数百万条数据、数十个属性，报错未指明具体问题属性或条目，以下是排查与修复方案：

• 定位问题条目

  • 分页缩小范围：先执行context.MarketplaceTransactions.Take(100).ToList();，若无报错则逐步增加条数，直到触发异常，锁定问题数据的大致范围。
  • 二分法快速定位：比如先查询前50%数据，根据结果缩小到有问题的子集，反复操作直到找到具体的问题条目ID。

• 定位问题属性

  • 找到问题条目后，直接在Cosmos DB门户查看该条目的JSON结构，对比MarketplaceTransaction实体类的非空属性（如标记[Required]的属性、值类型非可空属性如int/DateTime），找出JSON中为null或缺失的属性。
  • 临时修改实体类：将所有非空属性改为可空类型（如int改为int?），拉取所有数据后遍历检查哪个属性为null，找到后再改回原类型。

• 修复数据与代码

  • 修复数据库数据：在Cosmos DB门户或通过批量脚本，给问题属性设置合理默认值。
  • 代码层面优化：若业务允许，将部分非空属性改为可空；若必须非空，在数据写入环节增加校验，避免null值入库；也可在EF Core配置中给属性设置默认值，防止映射出错：

    modelBuilder.Entity<MarketplaceTransaction>()
        .Property(x => x.TargetProperty)
        .HasDefaultValue(0); // 根据属性类型设置对应默认值
    

• 进阶排查技巧

  • 升级日志级别：将EF Core日志级别设为Debug，查看映射过程的细节，定位具体出错的属性。
  • 自定义转换器：给非空属性添加自定义转换逻辑，抛出更明确的错误：

    modelBuilder.Entity<MarketplaceTransaction>()
        .Property(x => x.NonNullableProp)
        .HasConversion(
            v => v,
            v => v ?? throw new InvalidOperationException($"条目ID {x.Id}的NonNullableProp属性为null")
        );
    

    这样报错时会直接显示问题条目和属性。

内容的提问来源于stack exchange，提问作者baddie