调用BCryptDecrypt返回STATUS_INVALID_PARAMETER的RSA解密问题

核心问题点 #

1. PKCS1填充参数使用错误：指定BCRYPT_PAD_PKCS1时，pPaddingInfo必须传NULL，若误传非空值（比如未初始化的结构体指针），直接返回STATUS_INVALID_PARAMETER。
2. 二次调用参数未重置：首次调用后，输出缓冲区大小、结果长度变量未重新初始化，或输入密文长度不符合密钥模数要求，导致二次调用参数无效。
3. 密钥句柄状态异常：首次调用后密钥句柄被意外释放或修改，二次调用时使用无效句柄触发错误。

分步修复方案 #

1. 修正PKCS1填充的参数传递 #

调用BCryptDecrypt时，使用PKCS1填充的正确写法：

NTSTATUS status = BCryptDecrypt(
    hPrivateKey,          // 必须是RSA私钥句柄，公钥无法解密
    pbCiphertext,         // 输入密文缓冲区
    cbCiphertext,         // 密文长度必须等于密钥模数字节数（如2048位密钥对应256字节）
    NULL,                 // PKCS1填充不需要额外信息，必须传NULL
    pbPlaintext,          // 输出明文缓冲区
    cbPlaintext,          // 输出缓冲区需预先分配足够空间
    &cbResult,            // 实际明文长度输出
    BCRYPT_PAD_PKCS1      // 填充标志
);

2. 重置二次调用的所有参数 #

每次调用BCryptDecrypt前，务必：

• 预计算输出缓冲区大小：先传入pbOutput=NULL、cbOutput=0调用一次，通过cbResult获取所需的明文缓冲区长度，再分配对应大小的内存。
• 校验密文长度：通过BCryptGetProperty获取密钥的BCRYPT_KEY_LENGTH属性，计算模数字节数（密钥长度/8），确保输入密文长度与该值完全一致。
• 重置变量状态：将cbResult、cbOutput等参数重新初始化，避免残留首次调用的旧值。

3. 确保密钥句柄有效性 #

检查私钥句柄的创建逻辑，确保：

• 使用BCryptImportKeyPair或NCryptGetKey获取的是私钥句柄，公钥仅用于加密，无法解密。
• 首次调用后未调用BCryptDestroyKey销毁密钥，除非重新创建新的密钥句柄。

4. 修复缓冲区复用问题 #

若复用输出缓冲区，需重新设置缓冲区大小参数，示例：

// 二次调用前先获取所需缓冲区大小
ULONG requiredSize = 0;
NTSTATUS status = BCryptDecrypt(hPrivateKey, newCiphertext, newCiphertextLen, NULL, NULL, 0, &requiredSize, BCRYPT_PAD_PKCS1);
if (BCRYPT_SUCCESS(status)) {
    // 调整缓冲区大小为requiredSize
    status = BCryptDecrypt(hPrivateKey, newCiphertext, newCiphertextLen, NULL, plaintextBuf, requiredSize, &cbResult, BCRYPT_PAD_PKCS1);
}

关键注意事项 #

• RSA PKCS1填充的密文长度必须严格等于密钥模数长度，否则直接触发参数错误。
• 所有CNG API调用后，务必通过BCRYPT_SUCCESS(status)判断调用结果，不要忽略中间错误。

内容的提问来源于stack exchange，提问作者woldgrep