.NET 6使用PEM证书经SASL_SSL连接Kafka配置及报错排查

问题背景 #

使用.NET 6基于SASL_SSL协议连接第三方托管的Kafka服务，服务方提供的初始Java生态连接参数如下：

ssl.truststore.location=truststore.jks
ssl.truststore.password=xx
ssl.keystore.location=keystore.jks
ssl.keystore.password=xx
ssl.key.password=xx
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required \
username="user" \
password="xx;

由于.NET生态存在两个适配差异：

• 不支持JKS格式证书文件，已将服务方提供的JKS证书转换为PEM格式（truststore.pem和keystore.pem）
• 不支持Java的TrustStore机制，需要直接加载PEM格式证书完成认证
  初始编写的消费者配置代码如下：

ConsumerConfig config = new ConsumerConfig
{
    Debug = "broker,topic,msg,security",
    BootstrapServers = "xx",
    GroupId = "xx",
    AutoOffsetReset = AutoOffsetReset.Earliest,
    EnableAutoCommit = false,
    SslCaLocation = "truststore.pem",
    SslCertificateLocation = "keystore.pem",
    SecurityProtocol = SecurityProtocol.SaslSsl,
    SaslMechanism = SaslMechanism.Plain,
    SaslUsername = "user",
    SaslPassword = "xx"
};

运行后抛出如下错误：

证书校验失败：无法验证Broker证书，请确认ssl.ca.location配置正确，或系统已安装根CA证书
（原始报错：Certificate verify failed: broker certificate could not be verified, verify that ssl.ca.location is correctly configured or root CA certificates are installed）

修复步骤 #

1. 确认PEM证书转换正确性 #

JKS文件不能直接改后缀为PEM使用，必须通过工具正确导出证书内容，参考转换命令：

# 转换truststore：先转PKCS12格式，再导出CA证书PEM
keytool -importkeystore -srckeystore truststore.jks -destkeystore truststore.p12 -deststoretype PKCS12
openssl pkcs12 -in truststore.p12 -nokeys -out truststore.pem

# 转换keystore：先转PKCS12格式，再导出客户端证书+私钥PEM
keytool -importkeystore -srckeystore keystore.jks -destkeystore keystore.p12 -deststoretype PKCS12
openssl pkcs12 -in keystore.p12 -nodes -out keystore.pem

注意：转换过程中输入的密码要和原JKS文件密码保持一致；导出的keystore.pem必须同时包含-----BEGIN CERTIFICATE-----证书段和-----BEGIN PRIVATE KEY-----私钥段，不能仅保留证书内容。

2. 补全客户端缺失配置 #

初始配置存在两个问题：

• 未配置客户端私钥密码，对应原Java参数中的ssl.key.password
• 使用相对路径指定证书位置，.NET程序运行时工作目录可能和证书存放目录不一致，极易出现找不到证书文件的问题
  修正后的配置参考：

ConsumerConfig config = new ConsumerConfig
{
    Debug = "broker,topic,msg,security",
    BootstrapServers = "xx",
    GroupId = "xx",
    AutoOffsetReset = AutoOffsetReset.Earliest,
    EnableAutoCommit = false,
    // 证书路径改为绝对路径，避免工作目录不匹配导致的文件找不到问题
    SslCaLocation = @"C:\certs\truststore.pem",
    SslCertificateLocation = @"C:\certs\keystore.pem",
    // 补全私钥密码配置，对应原参数ssl.key.password
    SslKeyPassword = "xx",
    SecurityProtocol = SecurityProtocol.SaslSsl,
    SaslMechanism = SaslMechanism.Plain,
    SaslUsername = "user",
    SaslPassword = "xx",
    // 测试阶段可临时开启该配置跳过证书校验定位问题，生产环境必须注释/删除该配置
    // SslCertificateVerification = false
};

3. 证书链完整性校验 #

如果补全配置后仍然报证书校验错误：

• 临时开启SslCertificateVerification = false，如果此时能正常连接，说明truststore.pem中的CA证书不完整，没有包含Kafka服务端证书的完整信任链（根CA+中间CA），需要联系Kafka服务方提供完整的CA证书文件
• 检查truststore.pem文件格式，确认所有证书的PEM头尾标识完整，没有多余的乱码、空行截断问题
• Linux环境下运行时，先确认系统已安装ca-certificates依赖包，自定义CA证书配置优先于系统证书库生效

内容的提问来源于stack exchange，提问作者R Pelzer