使用Dictionary缓存大量数据遇内存溢出，有哪些替代方案？

你遇到的内存溢出本质是Dictionary底层存储键值对的Entry数组达到了.NET的单对象2GB上限，即便整机内存充足，单对象的大小限制依然会触发异常，可按以下优先级选择解决办法：

方案1：开启大对象支持（快速临时验证） #

如果是.NET Framework环境，在app.config/web.config的runtime节点下添加配置：

<runtime>
  <gcAllowVeryLargeObjects enabled="true" />
</runtime>

.NET Core 2.0+ / .NET 5+ 该配置默认开启，同时需要确认你的程序编译为64位进程（32位进程有4GB的整体内存上限）。
注意：该方案只能提升单对象容量阈值，当键量持续增长时依然会碰到上限，仅适合临时验证使用

方案2：缓存分片（最稳妥的生产级方案） #

放弃使用单个大Dictionary，将缓存拆分为多个小的分片Dictionary，通过StockSymbol的哈希值路由到对应分片，从根本上规避单对象2GB限制：
示例伪代码：

// 可根据实际键量调整分片数，建议设置为2的幂次
const int SHARD_COUNT = 16;
Dictionary<StockSymbol, List<CandleData>>[] _CACHE_SHARDS = Enumerable.Range(0, SHARD_COUNT)
    .Select(_ => new Dictionary<StockSymbol, List<CandleData>>())
    .ToArray();

// 计算当前符号对应的分片索引
private int GetShardIndex(StockSymbol symbol)
{
    return Math.Abs(symbol.GetHashCode()) % SHARD_COUNT;
}

// 写入逻辑示例
var shard = _CACHE_SHARDS[GetShardIndex(StockSymbol.symbol)];
shard[StockSymbol.symbol].AddRange(new_candles);

该方案除了规避单对象限制，还能降低多线程场景下的锁竞争，实际性能比单Dictionary更好。

方案3：优化存储结构降低内存占用 #

从数据本身压缩内存开销，可以大幅提升缓存可承载的容量：

• 把CandleData从引用类型（class）改为值类型（struct），减少对象头和引用指针的内存开销
• 压缩字段类型：比如时间戳用int类型存储Unix分钟级时间戳，代替8字节的DateTime；价格如果精度允许可以用float代替decimal，或者用int存储放大100/1000倍的整数值
• 给每个List<CandleData>预设合理的Capacity，避免List动态扩容时产生的双倍临时内存占用
• 增加缓存淘汰逻辑：比如只保留最近N天的分钟K数据，定期清理每个List中超出时间范围的旧数据，从源头控制内存占用

方案4：替换为专业缓存组件 #

如果数据量持续增长，可以替换原生Dictionary为专门针对大容量内存缓存设计的组件：

• 微软FasterKV：支持超大规模键值存储，可自动冷热数据分级，无单对象大小限制
• 嵌入式内存数据库：比如SQLite内存模式，支持按条件查询，内存占用更可控

内容的提问来源于stack exchange，提问作者SAKK