C#中转换大数据时ToArray()抛出OutOfMemoryException问题

你遇到的OutOfMemoryException问题根源在于Linq的Concat和ToArray()组合在处理大数组时的额外内存开销，我来拆解一下原因和解决办法：

为什么会触发内存异常？ #

• 你已经通过encoding.GetBytes(s)生成了一个超大字节数组（323,603,364字节，约309MB），这本身就占用了大量内存。
• Linq的Concat是延迟执行的，它并没有实际合并两个数组，只是记录了要合并的序列信息。
• 当调用ToArray()时，Linq内部会创建一个Buffer<T>对象，需要一次性分配足够的连续内存来容纳合并后的所有元素。此时原有的data数组还未被回收，再加上Linq中间对象的额外内存占用，很容易导致连续内存不足，触发OutOfMemoryException。

高效的修复方案 #

直接手动合并数组，避开Linq带来的冗余内存开销。我们可以预先计算总长度，一次性分配内存，再分别复制前缀和数据：

public static byte[] ToByteArrayWithBom(this string s, Encoding encoding)
{
    var data = encoding.GetBytes(s);
    var preamble = encoding.GetPreamble();
    
    // 一次性分配足够容纳前缀+数据的内存
    var totalLength = preamble.Length + data.Length;
    var result = new byte[totalLength];
    
    // 复制前缀（如果存在）
    if (preamble.Length > 0)
    {
        Array.Copy(preamble, result, preamble.Length);
    }
    // 复制主数据到前缀之后的位置
    Array.Copy(data, 0, result, preamble.Length, data.Length);
    
    return result;
}

这个方案的优势 #

• 内存更高效：只分配一次最终所需的数组，没有Linq中间对象（如Concat返回的Enumerable、Buffer<T>）的额外内存占用。
• 减少内存碎片：一次性分配连续内存块，比Linq的零散内存分配更不容易产生碎片。
• 性能更优：Array.Copy是底层优化的内存操作，比Linq的迭代式合并速度快很多。

额外优化提示 #

如果你的场景中数据量已经接近内存上限，还可以考虑：

• 尽量复用数组（业务允许的情况下），降低GC回收压力。
• 对于超大规模数据，改用流式处理（比如直接写入文件或网络流），从根源上避免一次性占用超大内存。

内容的提问来源于stack exchange，提问作者Shrimant Telgave