C# ASP.NET Web API调用双向认证Java SOAP服务报HTTP.SYS证书配置错误

你当前的绑定存在安全层级错位：Java侧部署的是传输层双向SSL（mTLS），但你的WCF自定义绑定同时开启了「WSS消息层MutualCertificate认证」和「HTTPS传输层」，两套双向认证逻辑叠加直接导致TLS握手失败。这也是你和现有同类方案适配场景的核心差异：多数存量讨论的解决方案，是针对「SOAP消息头级别的WS-Security双向证书」场景，和你对接的传输层mTLS场景完全不匹配。

1. 调整自定义绑定配置，移除冗余的消息层安全节点 #

原来绑定里的<security>节点是实现SOAP消息级的证书签名/加密的，和传输层mTLS逻辑完全无关，必须删除。正确配置需要在httpsTransport节点上显式开启客户端证书要求：

<customBinding>
  <binding name="MyBinding">
    <textMessageEncoding messageVersion="Soap11"/>
    <!-- 删除所有<security>消息层安全节点 -->
    <httpsTransport requireClientCertificate="true" />
  </binding>
</customBinding>

关键说明：requireClientCertificate="true"才是触发TLS传输层双向客户端证书校验的配置，你之前靠<security>节点实现的MutualCertificate逻辑，会让WCF在SOAP消息头里携带证书做WS-Security校验，和Java侧的mTLS要求完全不匹配。

2. 精简客户端证书行为配置 #

因为所有双向认证逻辑迁移到传输层，原来配置的冗余证书规则可以清理：

• 保留客户端证书的查找规则（对应当初从client.jks导出、带私钥的客户端身份证书，导入到CurrentUser\My存储）
• 删除serviceCertificate下的defaultCertificate节点（传输层不会通过该节点指定的证书做服务端身份校验）
• 保留证书校验放宽规则（适配自签/非公共CA的内部证书场景）
  修正后的行为配置：

<behaviors>
  <endpointBehaviors>
    <behavior name="ClientCredentialsBehavior">
      <clientCredentials>
        <clientCertificate findValue="2d73n94087857dndyr874ydr"
             storeLocation="CurrentUser"
             storeName="My"
             x509FindType="FindByThumbprint" />
        <serviceCertificate>
          <authentication certificateValidationMode="None" revocationMode="NoCheck"/>
        </serviceCertificate>
      </clientCredentials>
    </behavior>
  </endpointBehaviors>
</behaviors>

3. 解决HTTP.SYS的私钥访问权限问题 #

报错提示的「服务器证书未在HTTP.SYS中正确配置」，本质是WCF基于HTTP.SYS的内核通信层没有权限读取客户端证书的私钥：

• 使用winhttpcertcfg.exe工具，给Web API的运行身份（IIS应用池账号、本地开发的IIS Express账号）授予CurrentUser\My存储内客户端证书的私钥读取权限
• 执行命令示例：

  winhttpcertcfg -g -c CURRENT_USER\My -s 客户端证书指纹 -a 应用池运行账号
  

4. 修正Endpoint身份校验规则 #

原来配置的<identity><dns value="test"/></identity>是WS-Security消息层的服务端身份校验逻辑，传输层mTLS下会触发域名不匹配报错：

• 直接删除该identity节点，或者将dns值修改为服务端证书内绑定的实际域名abc.bank.dm，和证书的SAN字段保持一致

• 确认Java侧SOAP服务的双向认证是传输层配置（如Tomcat的clientAuth="true"、Nginx的ssl_verify_client on），而非SOAP框架层的WS-Security证书校验
• 确认证书导出流程正确：
  • 从client.jks导出带私钥的P12格式客户端证书，导入到CurrentUser\My存储
  • 从truststore.jks导出对应服务端的公钥证书（CER格式），导入到CurrentUser\TrustedPeople存储

内容的提问来源于stack exchange，提问作者Tagi