FIPS模式下SunPKCS11搭配NSS派生签名密钥报CKR_KEY_TYPE_INCONSISTENT

在FIPS模式下使用SunPKCS11搭配NSS派生签名密钥时，抛出CKR_KEY_TYPE_INCONSISTENT错误。

• Java版本：openjdk-1.8.0.312
• 操作系统：RHEL8

按优先级排序为：SunPKCS11-NSS-FIPS、SUN 1.8、SunEC 1.8、SunJSSE 1.8

• 新增JCE安全提供者后问题消失：添加SunJCE或BouncyCastleFipsProvider安全提供者时功能可正常运行
• 已确认无限制强度加密策略可用：通过Cipher.getMaxAllowedKeyLength("AES")验证返回值为极大数值，符合预期

Caused by: java.security.InvalidKeyException: init() failed
    at sun.security.pkcs11.P11Mac.engineInit(P11Mac.java:208)
    at javax.crypto.Mac.chooseProvider(Mac.java:350)
    at javax.crypto.Mac.init(Mac.java:415)
    at com.amazonaws.auth.AbstractAWSSigner.sign(AbstractAWSSigner.java:127)
    ... 36 common frames omitted
Caused by: sun.security.pkcs11.wrapper.PKCS11Exception: CKR_KEY_TYPE_INCONSISTENT
    at sun.security.pkcs11.wrapper.PKCS11.C_SignInit(Native Method)
    at sun.security.pkcs11.P11Mac.initialize(P11Mac.java:177)
    at sun.security.pkcs11.P11Mac.engineInit(P11Mac.java:206)
    ... 39 common frames omitted

该问题核心是安全提供者配置与密钥类型不匹配：

1. 现有配置将SunPKCS11-NSS-FIPS设为最高优先级安全提供者，当上层逻辑（此处为AWS SDK签名逻辑）调用MAC算法初始化时，JCE框架会优先选中SunPKCS11提供的P11Mac实现处理请求。
2. SunPKCS11的MAC实现是直接对接NSS原生PKCS#11接口的封装，调用C_SignInit时仅接受NSS模块内部托管的PKCS#11格式密钥对象。当前使用的派生签名密钥是JCE层生成的通用密钥对象（如SecretKeySpec），不属于NSS模块托管的密钥，原生接口校验密钥类型不匹配，直接抛出CKR_KEY_TYPE_INCONSISTENT错误。
3. 原有安全提供者列表中缺少支持通用密钥执行HMAC计算的JCE实现，JCE框架遍历提供者时无兼容实现可回退，最终触发报错。添加SunJCE或BouncyCastleFipsProvider后功能恢复，正是因为这两个提供者自带独立的HMAC实现，可直接处理通用密钥对象，不会走到SunPKCS11的不兼容逻辑中。

排查方向 #

• 校验密钥类型：打印传入Mac.init()方法的密钥对象实现类，确认是否为sun.security.pkcs11.P11Key类型。如果是通用密钥对象而非PKCS#11托管密钥，可直接确认是密钥与提供者不匹配问题。
• 跟踪提供者选择流程：添加JVM启动参数-Djava.security.debug=jce,providers开启JCE调试日志，观察MAC实例化时选择安全提供者的完整流程，确认SunPKCS11被选中处理HMAC请求的触发逻辑。

解决方向 #

• 调整安全提供者优先级：不要将SunPKCS11-NSS-FIPS放在安全提供者列表首位，将SunJCE配置在SunPKCS11之前，让通用HMAC计算优先走纯Java实现，仅NSS托管密钥相关的TLS、证书操作走PKCS#11提供者。
• 显式指定MAC算法的提供者：如果必须保留SunPKCS11的最高优先级，调用MAC计算前不要走默认的提供者自动选择逻辑，显式指定兼容的提供者获取Mac实例，示例代码：

// 显式指定SunJCE作为HMAC算法的提供者
Mac mac = Mac.getInstance("HmacSHA256", SunJCE.getInstance());
mac.init(secretKey);

• 全流程使用PKCS#11模块托管密钥：如果合规要求所有密码操作必须在FIPS认证模块内完成，不要在JCE层派生签名密钥，改为通过NSS PKCS#11接口的C_DeriveKey能力在模块内部派生密钥，保证派生密钥为NSS托管的P11Key格式，与SunPKCS11的MAC实现完全兼容。

内容的提问来源于stack exchange，提问作者Kedarnath