.NET Core下设置内存限制及ML.NET模型缓存优化方案咨询

以下方案均基于.NET原生生态实现，无需引入第三方依赖

1. 带内存阈值的缓存实现（解决缓存无限制问题） #

.NET 内置的 IMemoryCache 原生支持按总大小限制缓存容量，同时支持自定义淘汰策略，完全匹配需求：

• 注册缓存时配置全局大小上限，单位可自定义为字节，可根据服务器预留的可用内存设置阈值，比如设置为2GB，超出后自动触发淘汰
• 每个模型缓存项单独设置权重：从SQL Server读取模型Blob时，直接把Blob的字节长度作为当前缓存项的Size参数，缓存组件会自动累计所有项的总大小，不会超出预设上限
• 淘汰策略默认使用LRU（最近最少使用），会优先淘汰长期无请求的冷门客户端模型，刚好适配随机请求的场景
• 可搭配滑动过期时间，比如设置30分钟无访问自动释放缓存，进一步降低无效占用

示例代码参考：

// Program.cs 注册缓存服务
builder.Services.AddMemoryCache(options =>
{
    // 全局缓存总大小上限设置为2GB，按字节计数
    options.SizeLimit = 2L * 1024 * 1024 * 1024;
    // 超出上限时自动淘汰20%的低优先级缓存项
    options.CompactionPercentage = 0.2;
});

// 模型读取封装逻辑
public async Task<ITransformer> GetClientModelAsync(Guid clientId)
{
    return await _memoryCache.GetOrCreateAsync<ITransformer>(clientId, async cacheEntry =>
    {
        // 从SQL Server读取对应客户端的模型Blob
        var modelBlob = await _dbContext.ClientModels
            .Where(m => m.ClientId == clientId)
            .Select(m => m.ModelBlob)
            .FirstAsync();
        
        // 加载ML.NET模型
        using var ms = new MemoryStream(modelBlob);
        var model = _mlContext.Model.Load(ms, out _);
        
        // 设置当前缓存项的大小为模型实际字节数
        cacheEntry.SetSize(modelBlob.Length);
        // 设置30分钟滑动过期
        cacheEntry.SetSlidingExpiration(TimeSpan.FromMinutes(30));
        
        return model;
    });
}

注意：ML.NET加载后的ITransformer实例是线程安全的，缓存后可直接多线程并发调用，无需额外加锁

2. 冷热分离优化缓存命中率 #

• 提前统计客户端的调用频率，将日调用量超过阈值的热门客户端模型在服务启动时预加载到缓存，避免首次请求卡顿
• 冷门客户端模型走常规缓存+淘汰逻辑，不会长期占用内存

3. 大体积模型特殊处理 #

• 统计所有模型的大小分布，将超出阈值（比如500MB）的超大模型单独处理，不进入通用缓存池，设置更短的滑动过期时间（比如10分钟）
• 条件允许的话可以将超大模型的预测接口单独部署为独立进程，和主服务资源隔离，避免大模型内存占用影响其他业务进程

4. 运行时动态调整内存 #

• 新增轻量后台定时任务，每5分钟检测一次服务器全局内存占用：
  • 全局内存占用超过85%时，主动调用_memoryCache.Compact(0.3)淘汰30%的低优先级缓存项，将内存压到安全线以下
  • 全局内存占用长期低于30%时，可动态调高缓存的SizeLimit，进一步提升缓存命中率

内容的提问来源于stack exchange，提问作者Mahesh