使用筛选器查询空alternateId资产返回结果过少的问题求助

使用Microsoft.Azure.Management.Media v6.0.0版本查询alternateId为空的资产时，通过筛选器仅获取到约7000条结果，但遍历全部72000条资产统计出的alternateId为空的资产约有36000条。两种场景使用相同的NextPageLink分页逻辑，排除分页问题。

查询代码如下：

var assets = await client.Assets.ListAsync(
    config.ResourceGroup,
    config.AccountName,
    new Microsoft.Rest.Azure.OData.ODataQuery<Asset>() { 
        Filter = "properties/alternateId eq ''" 
    }
);

原因分析 #

• 空值匹配逻辑不完整：Azure Media Services的alternateId为空包含两种情况：字段值为空字符串（''）、字段未设置/为null。当前筛选器仅匹配空字符串，漏掉了值为null的资产，这是结果数量差异的核心原因。
• 服务端索引限制：部分资产的alternateId字段未被服务端索引覆盖，导致OData筛选无法命中这部分数据，仅返回索引覆盖到的结果。

优化方案 #

修正筛选器匹配所有空值场景 #

修改OData筛选器，同时匹配空字符串和null值：

var assets = await client.Assets.ListAsync(
    config.ResourceGroup,
    config.AccountName,
    new Microsoft.Rest.Azure.OData.ODataQuery<Asset>() { 
        Filter = "properties/alternateId eq '' or properties/alternateId eq null" 
    }
);

分批次分段查询（规避服务端单次筛选限制） #

如果修改筛选器后仍有结果缺失，可按时间维度分段查询，降低单次筛选的数据量：

var startTime = DateTime.UtcNow.AddYears(-2);
var endTime = DateTime.UtcNow;
var timeStep = TimeSpan.FromMonths(1);

while (startTime < endTime)
{
    var currentEnd = startTime.Add(timeStep);
    var filter = $"properties/created le datetime'{currentEnd:o}' and properties/created ge datetime'{startTime:o}' and (properties/alternateId eq '' or properties/alternateId eq null)";
    var batchAssets = await client.Assets.ListAsync(config.ResourceGroup, config.AccountName, new ODataQuery<Asset>() { Filter = filter });
    
    // 处理当前批次的资产
    foreach (var asset in batchAssets)
    {
        // 执行更新逻辑
    }
    
    startTime = currentEnd;
}

增量查询+客户端过滤（保底方案） #

若服务端筛选始终存在问题，可采用分批拉取资产、客户端过滤的方式，避免一次性拉取全部72000条数据：

string nextPageLink = null;
do
{
    var assetPage = await client.Assets.ListNextAsync(nextPageLink);
    var targetAssets = assetPage.Where(a => string.IsNullOrEmpty(a.AlternateId)).ToList();
    
    // 处理筛选出的目标资产
    foreach (var asset in targetAssets)
    {
        // 执行更新逻辑
    }
    
    nextPageLink = assetPage.NextPageLink;
} while (!string.IsNullOrEmpty(nextPageLink));

内容的提问来源于stack exchange，提问作者Jussi Palo