Spring Boot使用Jest连接AWS OpenSearch遇401未授权问题排查

问题描述 #

我在AWS上部署了基于EC2实例的OpenSearch，已创建IAM角色用于请求认证，但通过JestClient执行查询时出现401未授权错误，附上相关配置及代码，请求排查并给出解决办法，若需更多细节可告知。

配置代码 #

OpenSearchConfig.java

@Configuration
public class OpenSearchConfig {
    private static final Logger logger = LoggerFactory.getLogger(OpenSearchService.class);

    private static final String SERVICE_NAME = "es";  // Elasticsearch service name for AWS
    private static final String REGION = "XXXX";  // Replace with your OpenSearch region
    private static final String OPEN_SEARCH_ENDPOINT = "END_POINT URL";  // Replace with your OpenSearch endpoint

    @Bean
    public JestClient jestClient() {
        // Create a signer
        AWS4Signer signer = new AWS4Signer();
        signer.setServiceName(SERVICE_NAME);
        signer.setRegionName(REGION);

        // Interceptor for signing requests
        HttpRequestInterceptor interceptor = new AWSRequestSigningApacheInterceptor(SERVICE_NAME, signer, new DefaultAWSCredentialsProviderChain());

        // Jest client configuration
        HttpClientConfig clientConfig = new HttpClientConfig.Builder(OPEN_SEARCH_ENDPOINT)
                .multiThreaded(true)
                .build();

        // Jest client factory
        JestClientFactory factory = new JestClientFactory() {
            @Override
            protected HttpAsyncClientBuilder configureHttpClient(HttpAsyncClientBuilder builder) {
                return builder.addInterceptorLast(interceptor);
            }
        };
        factory.setHttpClientConfig(clientConfig);
        logger.info("connection successful");

        return factory.getObject();
    }
}

OpensearchApplication.java

public class OpensearchApplication implements CommandLineRunner {

    @Autowired
    private JestClient jestClient;

    private static final Logger logger = LoggerFactory.getLogger(OpensearchApplication.class);

    public static void main(String[] args) {
        SpringApplication.run(OpensearchApplication.class, args);
    }

    @Override
    public void run(String... args) throws Exception {
        Search search = new Search.Builder(query)
                .addIndex(index)
                .build();

        try {
            SearchResult result = jestClient.execute(search);
            logger.info("Search response: {}", result.getJsonString());
            if (!result.isSucceeded()) {
                logger.error("Search failed: {}", result.getErrorMessage());
            }
            System.out.println(result.getJsonString());
        } catch (IOException e) {
            logger.error("Search request failed", e);
        }
    }
}

排查方向与解决办法 #

1. IAM角色权限验证 #

• 确认EC2实例关联的IAM角色是否拥有AmazonOpenSearchServiceFullAccess或自定义最小权限策略（至少包含es:ESHttpGet、es:ESHttpPost等查询所需动作）。
• 检查策略是否正确关联到EC2实例的IAM角色，且角色已成功附加到EC2实例。

2. 凭证链有效性检查 #

• DefaultAWSCredentialsProviderChain会按顺序从环境变量、系统属性、EC2实例元数据等渠道获取凭证。如果EC2实例未正确配置IAM角色，该链可能无法获取有效凭证。
• 在EC2实例上执行curl http://169.254.169.254/latest/meta-data/iam/security-credentials/验证是否能获取到角色名称，再进一步获取凭证信息，确认元数据服务是否正常。

3. 签名拦截器配置校验 #

• 确保SERVICE_NAME设置为es（对应OpenSearch服务），不要写成opensearch，否则签名会失效。
• 确认REGION配置为OpenSearch实例所在的正确区域（如us-east-1），区域不匹配会导致签名验证失败。
• 拦截器使用addInterceptorLast的顺序正确，确保请求在发送前完成签名。

4. OpenSearch域访问策略配置 #

• 检查OpenSearch域的访问策略，是否允许EC2实例的IAM角色访问。示例策略如下：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::你的账号ID:role/EC2关联的IAM角色名称"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:你的区域:你的账号ID:domain/OpenSearch域名/*"
    }
  ]
}

• 替换上述策略中的占位符为实际值，确保权限范围覆盖所需的查询操作。

5. 版本兼容性检查 #

• 确认JestClient版本与OpenSearch版本兼容：OpenSearch 1.x系列可使用Jest 6.x版本；更高版本的OpenSearch建议使用官方OpenSearch Java客户端替代Jest（Jest已停止维护）。

6. 端点URL格式验证 #

• 检查OPEN_SEARCH_ENDPOINT格式是否正确，需为完整的HTTPS URL（如https://your-opensearch-domain-endpoint），避免拼写错误或多余路径。

内容的提问来源于stack exchange，提问作者Aditya Priyam iGTB