EKS升级后Kubernetes元数据无法加载到OpenSearch求助

核心问题分析 #

EKS从1.23升级到1.27后，Kubernetes API版本、资源结构或权限模型发生了变化，而Filebeat 7.12.1属于较旧版本，对新集群版本的兼容性不足，导致元数据缓存匹配失败，出现“索引键未匹配任何缓存资源”的错误。

具体解决方案 #

1. 升级Filebeat至兼容EKS 1.27的版本 #

Filebeat 7.12.1发布时K8s 1.27尚未推出，对新API的支持缺失。建议升级到7.17.x版本（与OpenSearch 2.5的Elasticsearch 7.10.2 API兼容），该版本已适配K8s 1.24+的API变化，能正确解析容器元数据。

2. 调整Filebeat Kubernetes模块配置 #

更新filebeat.yml中的自动发现和元数据处理器配置，确保正确关联容器日志与K8s元数据：

filebeat.autodiscover:
  providers:
    - type: kubernetes
      node: ${NODE_NAME}
      hints.enabled: true
      templates:
        - config:
            - type: container
              paths:
                - /var/log/containers/*${data.kubernetes.container.id}.log
              processors:
                - add_kubernetes_metadata:
                    in_cluster: true
                    matchers:
                      - logs_path:
                          logs_path: "/var/log/containers/"
                    cache:
                      ttl: 5m  # 缩短缓存过期时间，加快元数据更新

重点确保：

• in_cluster: true：使用集群内部API访问K8s资源
• logs_path匹配器正确对应容器日志路径，保证容器ID关联准确
• 配置缓存TTL，避免旧缓存与新集群资源不匹配

3. 验证并修复RBAC权限 #

EKS升级后可能出现RBAC规则失效，需确保Filebeat的ServiceAccount拥有足够权限获取K8s元数据：

# 集群角色示例
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: filebeat-cluster-role
rules:
- apiGroups: [""]
  resources: ["pods", "nodes", "namespaces"]
  verbs: ["get", "list", "watch"]
- apiGroups: ["apps"]
  resources: ["deployments", "replicasets"]
  verbs: ["get", "list", "watch"]

将该角色绑定到Filebeat的ServiceAccount：

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: filebeat-cluster-binding
subjects:
- kind: ServiceAccount
  name: filebeat
  namespace: <your-filebeat-namespace>
roleRef:
  kind: ClusterRole
  name: filebeat-cluster-role
  apiGroup: rbac.authorization.k8s.io

4. 重置Filebeat元数据缓存 #

日志中的“索引键未匹配”错误通常是缓存与实际资源不匹配导致，执行以下操作重置缓存：

• 删除所有Filebeat Pod，强制重建缓存：kubectl delete pods -l app=filebeat
• 如果使用了PersistentVolume存储缓存数据，删除对应的PV/PVC，彻底清空旧缓存

验证步骤 #

1. 启动Filebeat后，查看Pod日志，确认无“索引键未匹配任何缓存资源”的报错
2. 生成测试容器日志，在OpenSearch中查询文档，检查是否包含kubernetes.container.name、kubernetes.namespace等字段
3. 进入Filebeat Pod执行filebeat test kubernetes（7.17+版本支持），验证K8s API连接和元数据获取是否正常

内容的提问来源于stack exchange，提问作者SGrant