Java证书交换双向认证失败：SSLHandshakeException握手终止

问题背景 #

• 基于Spring Boot+OpenFeign开发双向认证HTTP客户端，已简化为纯Java HttpClient复现问题
• 最初怀疑签名算法不匹配，实际排查发现客户端证书未在握手时发送；尝试通过DER文件加载证书和密钥仍报错
• Java SSL握手日志显示，服务器支持的签名算法列表中无证书使用的SHA256withRSA，但Curl、Insomnia、Postman使用同一证书测试均正常；OpenSSL检测到的服务器签名算法与Java日志不一致
• 已尝试通过系统属性和编程方式配置PKCS12格式密钥库、信任库，Java 17和21版本均抛出javax.net.ssl.SSLHandshakeException: Remote host terminated the handshake，伴随连接重置错误

一、为何签名算法显示不一致？ #

1. Java与OpenSSL的日志逻辑差异
   Java输出的握手日志是本地筛选后的算法列表：Java会根据JCE安全策略、密钥库证书的算法兼容性，对服务器返回的原始算法列表做过滤，只保留客户端能支持的部分；而OpenSSL直接输出服务器返回的全部算法，二者展示的范围不同。

2. 服务器的动态算法协商
   部分服务器会根据客户端的TLS版本、初始算法集调整返回的算法列表。Java默认的TLS套件与Curl、Postman存在差异，导致服务器返回给Java的算法列表不包含SHA256withRSA，但其他客户端能正常协商到该算法。

3. Java安全配置的限制
   检查$JAVA_HOME/conf/security/java.security文件中的jdk.tls.disabledAlgorithms或jdk.certpath.disabledAlgorithms配置，若其中包含SHA256withRSA，会导致Java主动排除该算法，日志中自然看不到。

二、解决证书未发送导致的握手失败 #

1. 验证密钥库与证书有效性 #

• 用OpenSSL检查PKCS12文件：

  openssl pkcs12 -info -in your-client-keystore.p12
  

  确认证书包含SHA256withRSA签名算法，且密钥与证书配对正确；同时检查证书的Extended Key Usage是否包含clientAuth（客户端认证），若仅包含serverAuth，Java不会将其作为客户端证书发送。
• 确保信任库包含服务器的根证书/中间证书，避免因服务器证书不被信任导致握手提前中断。

2. 强制启用目标算法与TLS版本 #

• 通过系统属性配置：

  # 指定支持的TLS版本
  jdk.tls.client.protocols=TLSv1.2,TLSv1.3
  # 注释或移除对SHA256withRSA的禁用
  jdk.tls.disabledAlgorithms=SSLv3, TLSv1, TLSv1.1, RC4, DES, MD5withRSA, ... # 去掉SHA256withRSA
  

• 编程方式配置HttpClient时显式指定算法：

  // 加载密钥库和信任库
  KeyStore keyStore = KeyStore.getInstance("PKCS12");
  keyStore.load(new FileInputStream("your-keystore.p12"), "keystore-pass".toCharArray());
  
  KeyStore trustStore = KeyStore.getInstance("PKCS12");
  trustStore.load(new FileInputStream("your-truststore.p12"), "truststore-pass".toCharArray());
  
  // 构建SSLContext
  SSLContext sslContext = SSLContexts.custom()
      .loadKeyMaterial(keyStore, "keystore-pass".toCharArray())
      .loadTrustMaterial(trustStore, (chain, authType) -> true) // 仅测试用，生产需严格验证证书
      .build();
  
  // 指定支持的TLS版本和签名算法
  SSLConnectionSocketFactory sslSocketFactory = new SSLConnectionSocketFactory(
      sslContext,
      new String[]{"TLSv1.2", "TLSv1.3"},
      new String[]{"SHA256withRSA"},
      NoopHostnameVerifier.INSTANCE);
  
  CloseableHttpClient httpClient = HttpClients.custom()
      .setSSLSocketFactory(sslSocketFactory)
      .build();
  

3. 显式控制证书选择 #

若Java自动选择证书出错，可自定义X509KeyManager强制指定使用的客户端证书：

KeyManagerFactory kmf = KeyManagerFactory.getInstance(KeyManagerFactory.getDefaultAlgorithm());
kmf.init(keyStore, "keystore-pass".toCharArray());

KeyManager[] keyManagers = Arrays.stream(kmf.getKeyManagers())
    .map(km -> (X509KeyManager) km)
    .map(originalKm -> new X509KeyManager() {
        @Override
        public String chooseClientAlias(String[] keyType, Principal[] issuers, Socket socket) {
            // 返回密钥库中客户端证书的别名
            return "your-client-cert-alias";
        }

        // 其他方法直接委托给原始KeyManager
        @Override
        public String chooseServerAlias(String keyType, Principal[] issuers, Socket socket) {
            return originalKm.chooseServerAlias(keyType, issuers, socket);
        }

        @Override
        public String[] getClientAliases(String keyType, Principal[] issuers) {
            return originalKm.getClientAliases(keyType, issuers);
        }

        @Override
        public String[] getServerAliases(String keyType, Principal[] issuers) {
            return originalKm.getServerAliases(keyType, issuers);
        }

        @Override
        public X509Certificate[] getCertificateChain(String alias) {
            return originalKm.getCertificateChain(alias);
        }

        @Override
        public PrivateKey getPrivateKey(String alias) {
            return originalKm.getPrivateKey(alias);
        }
    })
    .toArray(KeyManager[]::new);

// 将自定义keyManagers传入SSLContext
SSLContext sslContext = SSLContexts.custom()
    .loadKeyMaterial(keyStore, "keystore-pass".toCharArray())
    .loadTrustMaterial(trustStore, null)
    .setKeyManagers(keyManagers)
    .build();

4. 排查服务器端日志 #

服务器端的SSL握手日志能直接反映中断原因，比如是否拒绝了客户端证书、算法协商是否失败。联系服务器运维获取相关日志，定位具体问题。

内容的提问来源于stack exchange，提问作者Jairton Junior