恢复AWS OpenSearch自动快照所需权限及连接超时排查

一、先明确：超时≠权限问题 #

权限不足的典型报错是403 Forbidden，你遇到的ReadTimeout属于连接/响应超时，说明请求根本没收到服务端的有效响应，优先排查以下几点：

1. 检查Serverless服务（Lambda）的网络配置 #

• 如果你的OpenSearch域部署在VPC内：
  • 确保Lambda部署在同一个VPC的子网中，且Lambda的安全组允许出站访问OpenSearch域的443端口，同时OpenSearch的安全组允许该Lambda安全组的443端口入站
  • 确认Lambda所在子网有到OpenSearch子网的内网路由（走VPC内网即可，无需NAT网关）
• 如果OpenSearch是公网可访问：
  • 若Lambda部署在VPC内，需配置NAT网关保证Lambda有出站公网访问能力；非VPC部署的Lambda默认带公网访问权限，可跳过这步

2. 延长ES客户端超时时间 #

集群故障时本身响应缓慢，默认10秒超时很容易触发。修改你的Elasticsearch客户端初始化代码，增加超时和重试配置：

es = Elasticsearch(
    hosts = [{'host': host, 'port': 443}],
    http_auth = awsauth,
    use_ssl = True,
    verify_certs = True,
    connection_class = RequestsHttpConnection,
    timeout=30,  # 把超时时间延长到30秒
    max_retries=3,  # 增加重试次数
    retry_on_timeout=True  # 超时后自动重试
)

3. 手动验证集群连通性 #

先排除集群本身的问题，用AWS CLI手动测试快照列表接口：

aws es list-snapshots --domain-name your-domain-name --repository cs-automated --region eu-west-1

如果手动执行也超时，说明OpenSearch集群本身处于故障状态（比如red/yellow），先优先恢复集群再处理自动恢复逻辑。

二、权限方面的补充检查 #

虽然当前报错不是权限问题，但还是确认下是否有遗漏：

1. OpenSearch域访问策略：
   除了Lambda的IAM角色权限，还要检查OpenSearch域本身的访问策略，是否允许Lambda执行角色访问快照相关API。示例策略：

   {
     "Effect": "Allow",
     "Principal": {
       "AWS": "arn:aws:iam::你的账号ID:role/你的Lambda执行角色ARN"
     },
     "Action": "es:ESHttp*",
     "Resource": "arn:aws:es:eu-west-1:你的账号ID:domain/你的域名称/*"
   }
   

2. 细粒度访问控制（若启用）：
   如果你的OpenSearch启用了细粒度访问控制，需要在内部用户映射中，给对应的IAM角色分配monitor_snapshots或manage_snapshots权限，否则即使IAM权限够，内部安全插件也会拦截请求。
3. IAM角色信任关系：
   确认Lambda执行角色的信任关系中，允许lambda.amazonaws.com扮演该角色，否则权限会失效。

三、Curator使用注意事项 #

Curator的SnapshotList底层会调用_snapshot/cs-automated/_all API，确保该API没有被OpenSearch的访问策略或内部安全规则拦截。如果是OpenSearch 2.x及以上版本，还要确认Curator版本与OpenSearch版本兼容（避免版本不匹配导致的隐性问题）。

内容的提问来源于stack exchange，提问作者Jarede