无法通过WebIdentityTokenFileCredentialsProvider连接AWS Glue Schema Registry

问题根源 #

• 第一个报错Multiple HTTP Implementation found in class path：AWS SDK自动选择HTTP客户端时，发现classpath里存在多个实现（比如Apache和Netty），无法自动确定使用哪一个。
• 第二个报错Unable to load credentials from system settings：构建StsClient时，它默认会读取AWS默认凭证链（环境变量、系统属性等），但你的企业环境未配置AK/SK。而调用AssumeRoleWithWebIdentity接口根本不需要长期AK/SK，因此需要关闭STS客户端的默认凭证加载逻辑。

解决步骤 #

1. 清理HTTP客户端依赖冲突 #

确保项目中只保留一个AWS SDK兼容的HTTP客户端实现，比如仅保留Apache HttpClient：
如果使用Maven，可通过排除依赖来清理冲突：

<dependency>
    <groupId>software.amazon.awssdk</groupId>
    <artifactId>sts</artifactId>
    <version>你的SDK版本号</version>
    <exclusions>
        <exclusion>
            <groupId>software.amazon.awssdk</groupId>
            <artifactId>netty-nio-client</artifactId>
        </exclusion>
    </exclusions>
</dependency>

2. 正确构建STS客户端 #

给StsClient配置NullCredentialsProvider，阻止它尝试加载AK/SK：

StsClient stsClient = StsClient.builder()
        .region(Region.<region_name>) // 替换为你的实际区域，比如Region.US_WEST_2
        .httpClient(ApacheHttpClient.builder().build())
        .credentialsProvider(NullCredentialsProvider.create()) // 关键：禁用默认凭证加载
        .build();

3. 配置Web Identity凭证提供者 #

确保令牌文件路径和角色ARN能被正确识别：

• 如果环境已设置AWS_WEB_IDENTITY_TOKEN_FILE和AWS_ROLE_ARN环境变量，直接使用builder即可；
• 如果未设置，需在builder中显式指定：

StsWebIdentityTokenFileCredentialsProvider credentialsProvider = StsWebIdentityTokenFileCredentialsProvider.builder()
        .stsClient(stsClient)
        .tokenFile(Paths.get("/path/to/your/web-identity-token")) // 替换为你的令牌文件实际路径
        .roleArn("arn:aws:iam::<你的AWS账号ID>:role/<你的角色名>") // 替换为目标IAM角色的ARN
        .build();

4. 修正自定义序列化器代码 #

确保凭证提供者初始化逻辑正确，避免静态方法中的配置问题：

修正后的完整代码 #

public class CustomSerializer extends GlueSchemaRegistryKafkaSerializer {

    public CustomSerializer() {
        super(stsWebIdentityTokenFileCredentialsProvider(), null, null);
    }

    public static StsWebIdentityTokenFileCredentialsProvider stsWebIdentityTokenFileCredentialsProvider() {
        // 构建指定HTTP客户端，解决多实现冲突
        SdkHttpClient httpClient = ApacheHttpClient.builder().build();

        // 构建STS客户端，禁用默认凭证加载
        StsClient stsClient = StsClient.builder()
                .region(Region.<region_name>) // 替换为实际区域
                .httpClient(httpClient)
                .credentialsProvider(NullCredentialsProvider.create())
                .build();

        // 构建Web Identity凭证提供者
        return StsWebIdentityTokenFileCredentialsProvider.builder()
                .stsClient(stsClient)
                // 若环境变量未配置，取消下面两行注释并填写对应值
                // .tokenFile(Paths.get("/var/run/secrets/eks.amazonaws.com/serviceaccount/token")) // EKS场景示例路径
                // .roleArn("arn:aws:iam::123456789012:role/your-iam-role")
                .build();
    }
}

额外注意点 #

• 运行进程需要具备读取Web Identity Token文件的权限（比如EKS中ServiceAccount挂载的令牌文件默认具备可读权限）；
• 目标IAM角色需配置信任策略，允许对应的OIDC提供商（比如EKS的OIDC端点）扮演该角色；
• 使用AWS SDK 2.x的最新稳定版，确保相关类和方法均受支持。

内容的提问来源于stack exchange，提问作者Topic_explorer