.NET 5加密300万条大表数据时内存占用过高问题排查

我们尝试加密包含300万条记录的大型数据表，使用基于AesCryptoServiceProvider的加密方法时，持续出现内存占用过高的问题。尽管已使用using关键字确保MemoryStream对象会被及时释放，请问还有哪些可能的原因？另外，当注释掉代码中var encryptor = cryptoProvider.CreateEncryptor(key, initializationVector);这一行后，内存占用恢复稳定，请问这行代码是否存在问题？

环境：.NET 5

internal class EncryptionServiceBase
{
    protected byte[] Encrypt(byte[] decryptedData, byte[] key, byte[] initializationVector, Action<AesCryptoServiceProvider> setupDelegate)
    {
        Guard.IsNotNullOrEmpty(decryptedData, nameof(decryptedData));
        Guard.IsNotNullOrEmpty(key, nameof(key));
        Guard.IsNotNullOrEmpty(initializationVector, nameof(initializationVector));

        using (var cryptoProvider = new AesCryptoServiceProvider())
        {
            setupDelegate(cryptoProvider);
            var encryptor = cryptoProvider.CreateEncryptor(key, initializationVector);    // 是否存在问题？
            return GetCryptoTransformedData(decryptedData, encryptor);
        }
    }

    protected byte[] Decrypt(byte[] encryptedData, byte[] key, byte[] initializationVector, Action<AesCryptoServiceProvider> setupDelegate)
    {
        Guard.IsNotNullOrEmpty(encryptedData, nameof(encryptedData));
        Guard.IsNotNullOrEmpty(key, nameof(key));
        Guard.IsNotNullOrEmpty(initializationVector, nameof(initializationVector));

        using (var cryptoProvider = new AesCryptoServiceProvider())
        {
            setupDelegate(cryptoProvider);
            var decryptor = cryptoProvider.CreateDecryptor(key, initializationVector);

            return GetCryptoTransformedData(encryptedData, decryptor);
        }
    }

    private byte[] GetCryptoTransformedData(byte[] data, ICryptoTransform cryptoTransform)
    {
        using (var memoryStream = new MemoryStream())
        using (var cryptoStream = new CryptoStream(memoryStream, cryptoTransform, CryptoStreamMode.Write))
        {
            cryptoStream.Write(data, 0, data.Length);
            cryptoStream.FlushFinalBlock();

            return memoryStream.ToArray();
        }
    }
}

问题分析与解决方案 #

一、内存占用过高的可能原因 #

• 单条数据体积+批量处理逻辑问题：如果每条记录的字节数较大，且采用逐条加载加密的方式，短时间内会生成大量原数据字节数组、加密后字节数组，GC来不及及时回收这些短生命周期对象，导致内存堆积。
• ICryptoTransform未释放：CreateEncryptor返回的ICryptoTransform实现了IDisposable，但当前代码未显式释放该对象。高频调用下，未释放的加密器会持续占用内存资源，累积导致内存飙升。
• setupDelegate的配置隐患：如果传入的委托修改了AesCryptoServiceProvider的缓冲区相关配置（如设置过大的FeedbackSize），或选择了内存开销更高的填充模式，会直接增加加密过程的内存占用。
• GC回收延迟：.NET 5的GC默认在高内存压力下才触发回收，如果加密操作的速度快于GC回收速度，就会出现内存持续上涨的情况。

二、CreateEncryptor代码行的问题 #

这行代码本身语法无错，但它暴露了资源管理的漏洞：返回的ICryptoTransform未被正确释放。注释掉这行后，没有创建加密器对象，自然不会产生额外内存占用；而正常执行时，每次加密都会遗留未释放的加密器资源，累积导致内存异常。

三、优化建议 #

1. 显式释放ICryptoTransform
   修改GetCryptoTransformedData方法，为加密器添加using语句：

   private byte[] GetCryptoTransformedData(byte[] data, ICryptoTransform cryptoTransform)
   {
       using (cryptoTransform)
       using (var memoryStream = new MemoryStream())
       using (var cryptoStream = new CryptoStream(memoryStream, cryptoTransform, CryptoStreamMode.Write))
       {
           cryptoStream.Write(data, 0, data.Length);
           cryptoStream.FlushFinalBlock();
   
           return memoryStream.ToArray();
       }
   }
   

2. 优化数据处理流程
   采用流式处理：从数据源读取一条记录、加密、写入目标存储后立即释放原数据引用，避免一次性加载大量数据到内存。如果需要批量处理，严格控制批量大小，减少内存瞬时压力。

3. 复用加密服务实例
   AesCryptoServiceProvider线程不安全，但可在单线程循环中复用实例（而非每次加密都创建新实例），减少对象创建销毁的开销，降低内存波动。

内容的提问来源于stack exchange，提问作者Shuhaib Kovval