使用Windows CryptoAPI加密AES密钥时返回触发堆损坏问题

问题概述 #

• 基于Windows Cryptographic APIs实现RSA公钥加密AES密钥，严格按照微软文档流程获取加密缓冲区大小
• 调用lockKey函数时，函数内部所有代码执行无报错，但返回瞬间触发堆损坏错误，异常抛出在函数结束的闭合括号处
• 最初使用memset/malloc/free/delete等原生内存管理函数，因堆错误改用vector缓冲区，问题未解决
• 已调试检查变量取值、缓冲区状态，未发现明显异常，附完整代码及错误截图

排查方向与解决方案 #

1. 修正CryptEncrypt缓冲区大小计算逻辑 #

微软文档中，第一次调用CryptEncrypt需传入NULL作为输出缓冲区以获取所需大小，需注意：

• 第二次调用CryptEncrypt时，必须传入第一次获取的精确缓冲区大小（RSA加密输出长度等于密钥模长，例如2048位密钥对应256字节）
• 避免类型溢出问题：确保用DWORD存储缓冲区大小，防止因类型转换错误导致缓冲区分配不足或超限

2. 检查lockKey函数内的资源释放与缓冲区操作 #

• 确保所有CryptoAPI句柄在函数退出前正确释放：

  if (hKey != NULL) CryptDestroyKey(hKey);
  if (hProv != NULL) CryptReleaseContext(hProv, 0);
  

• 验证vector缓冲区操作无越界：调用CryptEncrypt时，需传入vector的实际分配容量（而非size()），且写入操作不得超出已分配空间

3. 确认AES密钥长度合法性 #

RSA加密明文长度受限于密钥模长（PKCS#1 v1.5填充下，明文长度 ≤ 密钥模长 - 11），例如2048位RSA密钥最多加密245字节，AES-256密钥为32字节，需确认代码中是否正确传递AES密钥的实际长度

4. 启用页堆验证精准定位错误 #

在调试器中启用页堆验证，可直接定位堆损坏的触发点：

1. 打开命令提示符，执行：gflags /p /enable your_exe.exe
2. 重启程序调试，堆损坏时会直接指向导致错误的代码行，而非函数返回阶段

正确的CryptEncrypt缓冲区处理示例 #

// 第一次调用获取加密所需缓冲区大小
DWORD encryptedSize = 0;
if (!CryptEncrypt(hPubKey, NULL, TRUE, 0, NULL, &encryptedSize, aesKeySize)) {
    // 处理错误
}

// 分配对应大小的缓冲区
std::vector<BYTE> encryptedBuffer(encryptedSize);

// 第二次调用执行加密
DWORD inputSize = aesKeySize;
if (!CryptEncrypt(hPubKey, NULL, TRUE, 0, encryptedBuffer.data(), &inputSize, encryptedSize)) {
    // 处理错误
}

注意：两次调用CryptEncrypt的final参数需保持一致，第二次调用时传入的输入长度变量会被更新为实际加密长度，但缓冲区大小必须严格等于第一次获取的encryptedSize

附加建议 #

• 不要忽略任何CryptoAPI函数的返回值，检查CryptImportKey是否成功导入RSA公钥、CryptAcquireContext是否正确获取加密上下文
• 确认编译环境的CRT库一致性：避免混用Debug和Release版本的CRT库，这会导致堆管理冲突

内容的提问来源于stack exchange，提问作者Shayan Ahmed Khan