Kafka配置OAuth2 SASL认证时出现invalid_token错误求助

问题描述 #

Kafka Broker版本3.9.0，使用自带producer-console作为生产者，TCP、TLS及SASL PLAIN/SHA256认证均正常，但配置SASL OAUTHBEARER认证时，生产者与Broker进行SASL认证阶段触发invalid_token错误。

核心配置 #

server.properties #

sasl.enabled.mechanisms=OAUTHBEARER
sasl.oauthbearer.jwks.endpoint.url=https://<oauth2 host name>:443/admin/v1/SigningCert/jwk
listener.name.sasl_plaintext.sasl.enabled.mechanisms=OAUTHBEARER
sasl.oauthbearer.expected.audience="<aud value>"
sasl.oauthbearer.expected.issuer="<issuer URL>"
listener.name.sasl_plaintext.oauthbearer.principal.builder.class=org.apache.kafka.common.security.authenticator.DefaultKafkaPrincipalBuilder
sasl.server.callback.handler.class=org.apache.kafka.common.security.oauthbearer.secured.OAuthBearerValidatorCallbackHandler

服务端JAAS配置 #

KafkaServer {
org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required;
};

producer.properties #

security.protocol=SASL_PLAINTEXT
sasl.mechanism=OAUTHBEARER
sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required \
clientId="<client id value shared by the oauth2 admin>" \
clientSecret="<client secret shared by the oauth2 admin>" \
scope="<scope shared by oauth2 admin>";
sasl.oauthbearer.token.endpoint.url=https://<oauth2 host name>:443/oauth2/v1/token
sasl.login.callback.handler.class=org.apache.kafka.common.security.oauthbearer.secured.OAuthBearerLoginCallbackHandler

现象 #

• 生产者成功从OAuth2服务器获取Access Token，日志显示登录成功；
• 与Broker进行SASL认证时，报错{"status":"invalid_token"}。

已完成排查 #

• 确认问题源于Broker端OAuthBearerValidatorCallbackHandler的Token校验失败；
• 验证JWKS URL可访问，但Broker日志无访问记录；
• 确认Token的sub、iat、exp字段合法，各节点时钟同步为UTC；
• 确认Token的kid与JWKS JSON中的kid匹配。

可能原因及解决方案 #

1. Broker未正确加载JWKS证书（无访问记录的核心原因） #

Broker端OAuthBearerValidatorCallbackHandler默认缓存JWKS密钥，若首次加载失败或存在隐性访问问题，会导致无访问记录：

• 检查网络/代理配置：确保Broker主机能访问JWKS URL，有代理时需在Broker启动参数中添加代理配置（如-Dhttps.proxyHost=xxx -Dhttps.proxyPort=xxx）；
• 强制刷新JWKS缓存：重启Broker时添加JVM参数-Dorg.apache.kafka.common.security.oauthbearer.secured.JwksRefreshConfig.minRefreshIntervalSeconds=60，缩短缓存刷新间隔，同时查看DEBUG日志中是否有JWKS加载的SSL握手、连接超时等报错；
• 校验JWKS返回格式：确认OAuth2服务器返回的JWKS是标准JSON格式，包含keys数组，且每个key包含kid、kty、alg等必填字段。

2. Token的audience/issuer校验不匹配 #

需确保配置值与Token字段完全一致：

• audience匹配：Token中的aud字段需与Broker配置的sasl.oauthbearer.expected.audience完全一致（含大小写、路径），若Token包含多个aud值，需确保Broker配置的audience在其中；
• issuer格式一致：Broker配置的sasl.oauthbearer.expected.issuer需与Token中的iss字段完全一致，注意是否带末尾斜杠（如https://oauth.example.com vs https://oauth.example.com/）。

3. Broker的JAAS配置缺失校验参数 #

当前服务端JAAS配置仅指定登录模块，需补充校验相关参数：

KafkaServer {
    org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required
    oauth.jwks.endpoint.url="https://<oauth2 host name>:443/admin/v1/SigningCert/jwk"
    oauth.expected.audience="<aud value>"
    oauth.expected.issuer="<issuer URL>";
};

注：部分场景下，Broker校验回调会优先读取JAAS配置中的参数，需确保与server.properties设置一致。

4. Token签名算法不匹配 #

确认Token的alg字段与JWKS对应kid的alg字段一致，Kafka 3.9.0默认支持RS256、ES256等算法，若使用小众算法需额外配置。

5. 深度分析DEBUG日志 #

开启Broker端org.apache.kafka.common.security.oauthbearer包的DEBUG日志，重点关注：

• OAuthBearerValidatorCallbackHandler的校验步骤日志，定位具体失败环节；
• JwksRetriever相关日志，排查JWKS加载异常；
• OAuthBearerTokenValidator的日志，查看Token各字段的校验结果。

内容的提问来源于stack exchange，提问作者Omi