RHEL9+OpenJDK11开启FIPS模式下PBES2密码套件读取异常求助

你的核心问题是RHEL9 FIPS模式下，OpenSSL 3.0生成的PBES2加密PKCS12无法被Red Hat OpenJDK 11读取，原因是Red Hat定制的OpenJDK在FIPS合规约束下，对PBES2的参数要求和OpenSSL默认生成的参数不匹配，以下是针对性的解决思路：

可能的原因 #

1. Red Hat OpenJDK的FIPS定制限制：RHEL9自带的OpenJDK是经过FIPS认证的定制版本，其密码算法支持比原生OpenJDK更严格，仅允许符合FIPS 140-3标准的参数组合（比如PBKDF2的迭代次数、密钥长度范围）。
2. OpenSSL 3.0默认PBES2参数不兼容：FIPS模式下OpenSSL生成PKCS12时，默认使用的PBES2参数（如迭代次数、MAC算法配置）可能超出了Red Hat OpenJDK的FIPS合规范围，导致Java无法解析算法参数。
3. FIPS提供器优先级问题：如果java.security中FIPS提供器（如sun.security.pkcs11.SunPKCS11）排在默认Sun提供器之前，会优先使用FIPS认证的算法实现，其对PBES2的支持有额外限制。

解决方案 #

1. 显式指定OpenSSL生成兼容的PKCS12参数 #

生成PKCS12时，强制指定符合Red Hat OpenJDK FIPS要求的PBES2参数：

openssl pkcs12 -export \
  -in cert.pem \
  -inkey private.key \
  -certfile chain.pem \
  -out keystore.p12 \
  -name your-alias \
  -passout pass:your-password \
  -pbkdf2 \
  -iter 10000 \
  -macalg SHA256 \
  -keyex

• -pbkdf2：明确使用FIPS合规的PBKDF2密钥派生算法
• -iter 10000：设置Red Hat OpenJDK认可的迭代次数范围
• -macalg SHA256：指定FIPS合规的MAC算法

2. 直接用keytool生成PKCS12（绕开OpenSSL） #

避免使用OpenSSL，直接用Java的keytool导入证书和私钥生成PKCS12，确保参数完全兼容：

# 先将私钥转换为Java支持的PKCS8格式
openssl pkcs8 -topk8 -in private.key -out private.pk8 -nocrypt

# 用keytool生成PKCS12密钥库
keytool -importkeystore \
  -srckeystore private.pk8 \
  -srcstoretype PKCS8 \
  -destkeystore keystore.p12 \
  -deststoretype PKCS12 \
  -certfile cert.pem \
  -alias your-alias \
  -srcstorepass your-password \
  -deststorepass your-password

3. 检查并调整OpenJDK的FIPS配置 #

编辑$JAVA_HOME/conf/security/java.security文件：

• 确认FIPS提供器的配置路径正确：

  security.provider.1=sun.security.pkcs11.SunPKCS11 ${java.home}/conf/security/fips.cfg
  

• 检查fips.cfg中是否禁用了PBES2相关算法，若有则移除对应禁用条目：

  name = RH-FIPS
  library = /usr/lib64/libcrypto.so
  attributes = compatibility
  disabledAlgorithms = MD2, MD5, SHA1, RSA keySize < 2048
  

4. 验证OpenJDK的PBES2支持 #

用以下代码测试OpenJDK是否真的支持目标PBES2算法：

import javax.crypto.Cipher;
import javax.crypto.SecretKeyFactory;
import javax.crypto.spec.PBEKeySpec;
import javax.crypto.spec.PBEParameterSpec;
import java.security.spec.AlgorithmParameterSpec;

public class PBES2Test {
    public static void main(String[] args) throws Exception {
        char[] password = "test-pass".toCharArray();
        byte[] salt = new byte[16];
        int iterations = 10000;

        // 测试PBKDF2密钥派生
        SecretKeyFactory skf = SecretKeyFactory.getInstance("PBKDF2WithHmacSHA256");
        skf.generateSecret(new PBEKeySpec(password, salt, iterations, 256));

        // 测试PBE加密算法
        Cipher cipher = Cipher.getInstance("PBEWithHmacSHA256AndAES_256");
        AlgorithmParameterSpec params = new PBEParameterSpec(salt, iterations);
        cipher.init(Cipher.ENCRYPT_MODE, skf.generateSecret(new PBEKeySpec(password, salt, iterations, 256)), params);

        System.out.println("PBES2 algorithms are supported in FIPS mode");
    }
}

编译运行：

javac PBES2Test.java
java PBES2Test

如果运行失败，说明OpenJDK的FIPS模块确实不支持该算法，需要联系Red Hat获取官方支持或升级OpenJDK版本。

内容的提问来源于stack exchange，提问作者noctred