请求协助解决Stream转Base64String时的内存不足异常

这个问题的核心很明确：你的代码把整个文件内容一次性加载到内存（先存进MemoryStream，再调用ToArray()生成完整字节数组），然后还要转成Base64字符串——Base64会比原数据体积大33%左右，大文件（比如几百MB甚至GB级）直接就把内存撑爆了。

下面给你两个针对性的解决方案，优先推荐第一种，能从根源上降低内存占用：

方案1：分块读取+逐步生成Base64字符串 #

不用一次性加载整个文件，而是分块读取文件流，每块转成Base64后拼接到结果里，这样内存里始终只保留一小块数据，彻底解决内存不足问题。修改后的代码如下：

private static string GetSPFileBinary(ClientContext ctx, string fileUrlPath)
{
    ctx.RequestTimeout = Int32.MaxValue;
    var spFile = ctx.Web.GetFileByServerRelativeUrl(fileUrlPath);
    var spFileContent = spFile.OpenBinaryStream();
    ctx.Load(spFile);
    ctx.ExecuteQuery();

    if (spFileContent == null || spFileContent.Value == null)
        return string.Empty;

    // Base64按3字节转4字符，所以设置块大小为3的倍数，减少剩余字节处理逻辑
    const int bufferSize = 3072; // 3KB块，可根据实际调整（比如设为3*1024*1024=3MB）
    var buffer = new byte[bufferSize];
    int bytesRead;
    var base64Builder = new StringBuilder();

    // 使用using确保流被正确释放，避免内存泄漏
    using (var inputStream = spFileContent.Value)
    {
        while ((bytesRead = inputStream.Read(buffer, 0, bufferSize)) > 0)
        {
            if (bytesRead == bufferSize)
            {
                // 整块直接转Base64
                base64Builder.Append(Convert.ToBase64String(buffer));
            }
            else
            {
                // 最后一块不足3的倍数，复制到临时数组再转换
                var tempBuffer = new byte[bytesRead];
                Array.Copy(buffer, tempBuffer, bytesRead);
                base64Builder.Append(Convert.ToBase64String(tempBuffer));
            }
        }
    }

    return base64Builder.ToString();
}

关键优化点： #

• 用StringBuilder逐步拼接Base64，避免每次拼接字符串产生新的内存对象
• 分块读取流，内存仅保留当前块的字节数据
• 用using包裹输入流，确保资源及时释放，避免潜在的内存泄漏

方案2：针对超大型文件的进阶处理（如果业务允许） #

如果文件是GB级别的，哪怕是StringBuilder最终也会占用大量内存（因为Base64字符串体积更大）。这种情况下，建议不要返回完整的Base64字符串，而是直接将Base64内容写入目标位置（比如本地文件、HTTP响应流），全程不保留完整的字符串在内存中。示例逻辑如下：

private static void WriteSPFileAsBase64ToStream(ClientContext ctx, string fileUrlPath, Stream outputStream)
{
    ctx.RequestTimeout = Int32.MaxValue;
    var spFile = ctx.Web.GetFileByServerRelativeUrl(fileUrlPath);
    var spFileContent = spFile.OpenBinaryStream();
    ctx.Load(spFile);
    ctx.ExecuteQuery();

    if (spFileContent == null || spFileContent.Value == null)
        return;

    const int bufferSize = 3072;
    var buffer = new byte[bufferSize];
    int bytesRead;
    var encoder = new System.Text.UTF8Encoding();

    using (var inputStream = spFileContent.Value)
    {
        while ((bytesRead = inputStream.Read(buffer, 0, bufferSize)) > 0)
        {
            string base64Chunk = bytesRead == bufferSize 
                ? Convert.ToBase64String(buffer) 
                : Convert.ToBase64String(buffer, 0, bytesRead);
            
            // 直接将Base64块写入输出流，不存到内存字符串里
            byte[] base64Bytes = encoder.GetBytes(base64Chunk);
            outputStream.Write(base64Bytes, 0, base64Bytes.Length);
        }
    }
}

这个方法适合需要把Base64内容直接输出到文件或网络流的场景，内存占用可以降到最低。

内容的提问来源于stack exchange，提问作者sukumarraju