AWS Grafana连接VPC内Amazon OpenSearch报Bad Gateway错误求助

问题描述 #

我们在AWS组织的根账户中运行AWS Grafana，已配置组织访问权限，成功跨成员账户连接了AWS Prometheus等数据源，但无法连接成员账户VPC内的Amazon OpenSearch集群。在Grafana的OpenSearch数据源配置界面能看到目标集群，但所有连接尝试均失败：点击「Save and Test」先显示「Testing..」，随后报错：OpenSearch error: Bad Gateway。

已尝试的操作 #

• 使用SigV4认证方式
• 使用Basic Auth并携带凭证，已建立账户间VPC连接，确认9200/443端口开放

排查与解决步骤 #

1. 确认Grafana的网络访问模式 #

AWS Grafana默认是公网访问模式，这种模式下即使有VPC连接，也无法直接访问成员账户的VPC内资源：

• 进入AWS Grafana控制台，查看工作区的「Network access settings」，确认是否配置了VPC访问（关联目标VPC、子网和安全组）。
• 若使用VPC访问，需确保Grafana所在VPC与成员账户OpenSearch的VPC已通过VPC peering或Transit Gateway连通，且路由表配置正确（双方路由表都有指向对方VPC的条目）。
• 如果暂时无法迁移Grafana到VPC模式，可临时为OpenSearch开启公网访问（不推荐生产环境），测试是否能连接，以此排除网络问题。

2. SigV4认证的权限配置 #

使用SigV4时，权限链必须完整：

• 成员账户侧：创建IAM角色，允许根账户的Grafana服务角色（默认是AWSServiceRoleForAmazonGrafana，若自定义则用对应角色ARN）扮演该角色，且附加AmazonOpenSearchServiceReadOnlyAccess或自定义权限（至少包含es:ESHttpGet、es:ESHttpHead等测试所需权限）。
• OpenSearch访问策略：在成员账户的OpenSearch集群配置中，更新访问策略允许上述IAM角色访问：

  {
    "Version": "2012-10-17",
    "Statement": [
      {
        "Effect": "Allow",
        "Principal": {
          "AWS": "arn:aws:iam::[根账户ID]:role/[Grafana服务角色名]"
        },
        "Action": ["es:ESHttpGet", "es:ESHttpHead"],
        "Resource": "arn:aws:es:[区域]:[成员账户ID]:domain/[集群名]/*"
      }
    ]
  }
  

• Grafana配置：在数据源设置中，确认选择了「AWS Organizations」作为账户来源，正确选择成员账户ID，且SigV4区域与OpenSearch集群区域一致。

3. Basic Auth的网络与凭证验证 #

使用Basic Auth时，重点排查网络和用户权限：

• 网络连通性测试：在Grafana所在VPC的EC2实例上，执行以下命令测试OpenSearch端点：

  curl -u [用户名]:[密码] https://[OpenSearch VPC端点]:443/_cluster/health
  

  若无法返回健康状态，说明VPC连接、路由表或安全组存在问题，需逐一排查：
  • 确认成员账户OpenSearch的安全组允许Grafana所在VPC的CIDR或安全组访问443/9200端口。
  • 确认VPC peering连接已接受，双方路由表已添加对应路由。
• 用户权限：确保OpenSearch的Fine-Grained Access Control（FGAC）用户拥有_cluster/health等测试端点的访问权限，可在OpenSearch Dashboards中测试用户权限。

4. 端点与协议检查 #

• 确认Grafana中输入的是OpenSearch的VPC端点（而非公网端点），协议选择与集群配置一致（HTTPS对应443，HTTP对应9200）。
• 若使用自定义SSL证书，需将证书导入到Grafana工作区的信任存储中，否则会出现证书验证失败导致的网关错误。

5. 组织访问权限验证 #

• 确认根账户的Grafana工作区已启用组织访问，且成员账户已被添加到组织访问列表，权限设置为允许访问OpenSearch资源。
• 检查Grafana的数据源配置中，是否选择了正确的组织账户，而非手动输入账户ID导致的权限不匹配。

内容的提问来源于stack exchange，提问作者Staggerlee011