NCryptSignHash调用返回NTE_INVALID_PARAMETER(0x80090027)问题排查

针对你迁移CryptoAPI到CNG时遇到的NCryptSignHash()第二次调用返回NTE_INVALID_PARAMETER(0x80090027)的问题，以下是具体排查方向：

• 严格校验两次调用的参数一致性
  第一次调用NCryptSignHash()获取签名长度时，pbSignature传NULL、pdwSignatureLength传地址；第二次生成签名时，除了pbSignature（指向分配的缓冲区）和pdwSignatureLength（设为缓冲区实际大小），其余所有参数必须和第一次完全一致：

  • 确认hKey句柄未被意外释放或修改
  • pszAlgId（如NCRYPT_SHA256_ALGORITHM）两次调用必须完全相同
  • pbHashValue的指针、cbHashValue的长度以及哈希数据本身不能有任何变更
  • dwFlags参数要严格匹配，比如第一次用了NCRYPT_PAD_PKCS1_FLAG，第二次必须同样传入

• 验证哈希数据的CNG兼容性
  CryptoAPI生成的哈希格式可能和CNG存在字节序或结构差异，比如RSA签名要求哈希为大端字节序。确保你传入的哈希是通过CNG原生函数（BCryptCreateHash()/BCryptFinishHash()）生成的；如果必须复用CryptoAPI的哈希，要先确认字节序符合目标签名算法的要求。

• 检查密钥用途与dwKeySpec的匹配性
  尽管你确认dwKeySpec为AT_KEYEXCHANGE，但部分CNG提供者对密钥用途的限制更严格：AT_KEYEXCHANGE通常用于密钥交换场景，而签名操作应使用AT_SIGNATURE。尝试修改CryptAcquireCertificatePrivateKey()的dwKeySpec参数为AT_SIGNATURE，或者通过NCryptGetProperty()检查密钥的NCRYPT_KEY_USAGE_PROPERTY是否包含签名权限。

• 排查缓冲区大小的传递逻辑
  第二次调用的正确流程是：

  1. 第一次调用后，根据返回的*pdwSignatureLength分配对应大小的缓冲区
  2. 将pdwSignatureLength的值设置为缓冲区的实际大小（即第一次返回的长度）
  3. 传入缓冲区指针和更新后的长度指针
     如果第二次调用时pdwSignatureLength未正确设置为缓冲区大小，或缓冲区分配不足，会直接触发参数错误。

• 避免密钥句柄的中间状态变更
  确保两次NCryptSignHash()调用之间，没有对hKey执行任何额外操作（如NCryptSetProperty()修改密钥属性），这类操作可能导致密钥内部状态异常，引发后续调用失败。

• 测试指定CNG存储提供者
  不同CNG提供者（如软件密钥的MS_KEY_STORAGE_PROVIDER、智能卡的MS_SMART_CARD_KEY_STORAGE_PROVIDER）对参数的要求存在差异。尝试在NCryptOpenStorageProvider()中明确指定目标提供者，排除提供者兼容性问题。

• 启用CNG调试日志定位具体参数
  通过注册表开启CNG调试日志，可获取更详细的错误细节：

  1. 打开注册表编辑器，定位到HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Cryptography\Debug
  2. 创建DWORD值CNGLoggingLevel，设置为0x00000003（详细日志级别）
  3. 重启应用程序执行测试，查看%SystemRoot%\System32\Cng.log，日志会明确标记哪个参数无效

内容的提问来源于stack exchange，提问作者David