如何采集Kubernetes集群所有对象的Metadata并构建离线资源清单

最优实现方案 #

根据你的使用场景可以选择两种实现路径：

一次性生成离线资源清单 #

直接用kubectl配合shell脚本完成，全程无额外依赖，操作成本最低：

1. 先获取集群内所有支持的资源类型：kubectl api-resources -o name --verbs=list
2. 循环拉取所有资源的元数据，输出为结构化的JSON格式便于后续处理：

for res in $(kubectl api-resources -o name --verbs=list); do
  kubectl get $res -A -o json >> all-resources-metadata.json
done

3. 对你需要的Name、Kind、Labels、Annotations、Namespace、创建时间等字段做清洗过滤，去掉冗余数据后直接推送至外部服务器存储即可。

长期持续同步维护最新离线清单 #

优先使用K8s原生的Informers监听机制实现：

• 基于client-go（Go语言）或官方Python SDK编写轻量服务，监听集群所有资源的增删改事件，实时获取元数据变更
• 相比定时轮询，Informers机制对apiserver压力更小，数据延迟更低，还支持本地缓存避免重复拉取全量数据
• 清洗后的增量数据可按你需要的频率批量推送到外部服务器，带宽消耗更低

现有成熟工具 #

你可以直接用现有工具实现需求，无需从零开发：

• kubectl bulk插件：kubectl官方生态的批量操作插件，支持一键导出全集群所有资源的配置，可自定义输出字段仅保留元数据，导出后可直接同步到外部服务器，适合一次性导出场景
• kube-state-metrics：K8s官方维护的标准组件，原生已实现全集群所有资源元数据的采集能力，默认暴露为HTTP接口，你可以直接对接该接口提取需要的元数据字段推送至外部服务，适合长期同步场景
• velero：主流的集群备份工具，可配置仅备份资源元数据、忽略持久卷数据，备份产物就是结构化的离线资源清单，支持定时全量/增量备份，可直接同步备份包到外部服务器，适合需要留存多版本历史清单的场景

注意：所有采集方案对应的身份（ServiceAccount或kubectl用户）都需要配置集群级的所有资源get、list、watch权限，避免遗漏部分资源的元数据。

内容的提问来源于stack exchange，提问作者tomikos