C#处理大型表格数据时触发OutOfMemoryException，求解决方案

这种30万行×200列的大型表格内存问题我碰到过好多次，你当前用List<Dictionary<string, object>>的方式内存开销确实很大——每个Dictionary实例本身有额外的对象头开销，而且每一行都重复存储列名字符串，值类型还会因为装箱导致内存浪费。给你几个针对性的优化思路：

1. 用强类型类/结构体替代Dictionary #

这是最立竿见影的优化。Dictionary的键值对模式会为每一行重复存储所有列名（比如200个字符串，30万行就是6000万个重复的字符串实例），而且值类型（int、decimal等）存到object里会触发装箱，额外占用内存。

换成强类型的类或结构体，列名只在类型定义中存在一次，值直接存在对应的字段/属性里，完全避免了键的重复存储和装箱问题：

// 示例强类型类，对应你的200列
public class TableRow
{
    public string UserId { get; set; }
    public int Age { get; set; }
    public decimal Balance { get; set; }
    // 其他197个列对应的属性...
}

如果用结构体（struct），还能进一步减少内存开销——结构体是值类型，List<TableRow>会把所有行数据存在连续的内存块里，没有类实例的对象头开销（每个类实例至少占16字节的对象头）。

2. 流式处理，避免一次性加载全量数据 #

你现在把所有行都塞进List里，相当于把整个表格的所有数据都加载到内存，30万行×200列的数据量完全可能撑爆8GB内存。改成读一行处理一行或者分批加载：

• 如果是读取文本文件（比如CSV），用File.ReadLines()代替File.ReadAllLines()，前者是流式读取，每次只在内存中保留一行数据；
• 如果需要临时存储中间结果，不要用内存集合，改用轻量的本地数据库（比如SQLite）或者临时文件缓存，处理完一批就写入，再加载下一批；
• 最终的节点创建也可以流式进行，创建一个节点就输出/持久化一个，不用把所有节点都存在内存里。

3. 复用字符串与对象，减少重复分配 #

大型表格里往往有大量重复的单元格值（比如状态字段的"Active"/"Inactive"，地区字段的"New York"等），可以通过字符串驻留或全局字典来复用这些值：

• 用string.Intern()处理单元格值，让相同的字符串指向内存中的同一个实例，避免重复分配；
• 维护一个全局的Dictionary<object, object>，把所有出现过的值缓存起来，每次读取单元格值时先查缓存，存在就直接复用，不存在再添加。

另外，列名也可以提前存成一个全局的string[]，避免在每个Dictionary里重复存储。如果改用数组存储每行数据（object[][]），可以用列名数组的索引来对应列，彻底去掉键的开销：

// 全局列名数组
string[] ColumnNames = { "UserId", "Age", "Balance", ... };
// 每行数据用数组存储，索引对应ColumnNames的索引
List<object[]> Rows = new List<object[]>(300000);

4. 优化内存分配策略 #

• 初始化List时指定容量：比如new List<TableRow>(300000)，避免List默认的翻倍扩容逻辑（每次扩容会分配新的内存块，旧的内存块要等GC回收，导致内存碎片化）；
• 避免频繁创建临时对象：比如在解析每行数据时，不要每次都创建新的小对象（比如临时的字符串分割数组），可以复用一个全局的数组或StringBuilder；
• 考虑使用内存池：对于频繁分配的小对象，用MemoryPool<T>或ArrayPool<T>来复用内存块，减少GC压力。

5. 稀疏存储（针对大量空值的场景） #

如果你的表格里有大量空值单元格，可以改成每行只存储非空的列名和值，比如用Dictionary<string, object>但只存非空项，或者用一个List<(string ColumnName, object Value)>存储每行的非空数据。这样能大幅减少空值带来的无效内存占用。

内容的提问来源于stack exchange，提问作者Bruno