如何在K8S上部署支持自动扩缩容、可自动发现节点的Elasticsearch集群

你遇到的报错是Elasticsearch生产环境部署的强制校验，无需硬编码节点地址，通过ES内置的Kubernetes发现插件即可实现自动节点发现，完美适配自动扩缩容场景，具体配置步骤如下：

1. 提前创建无头服务 #

首先为Elasticsearch StatefulSet配套创建无头服务（Headless Service），配置中指定clusterIP: None，标签选择器匹配ES Pod的标识标签。该服务会为每个ES Pod生成固定格式的DNS域名：{pod名称}.{无头服务名}.{命名空间}.svc.cluster.local，用于节点间通信。

2. 配置ES自动发现参数 #

修改ES的配置文件（可通过ConfigMap注入），添加以下配置即可：

• discovery.seed_providers: k8s：指定使用Kubernetes作为种子节点发现源，ES会自动调用K8S API查询集群内符合条件的节点
• discovery.k8s.service_name: <替换为你的ES无头服务名称>：ES会自动拉取该服务下所有健康Pod的地址作为发现种子
• discovery.k8s.namespace: <替换为ES部署的命名空间>：非必填，默认和ES Pod所在命名空间一致，跨命名空间部署时配置
• cluster.name: <替换为自定义集群名>：集群内所有节点的集群名必须完全一致，防止误加入其他集群
• 如果集群拆分了主节点和数据节点，额外添加配置discovery.k8s.label_selector: node-role.kubernetes.io/master=true，仅筛选主节点作为发现种子，数据节点会自动从主节点同步集群信息。

3. 配置RBAC权限 #

ES的K8S发现插件需要调用K8S API查询Pod、Service、Endpoint信息，需要给ES Pod绑定的ServiceAccount配置对应权限：

• 创建专属ServiceAccount
• 创建Role，开放endpoints、pods、services资源的get、list权限
• 创建RoleBinding将ServiceAccount和Role绑定即可

4. 移除初始化配置 #

cluster.initial_master_nodes参数仅用于集群第一次启动的主节点初始化，集群首次启动完成后直接删除该配置即可，避免后续扩缩容时出现配置冲突。

5. 扩缩容验证 #

所有配置生效后，直接调整StatefulSet的replicas数值即可实现扩缩容，新启动的Pod会自动通过K8S发现插件找到现有集群节点，无需手动修改任何配置即可自动接入集群。

生产环境建议将主节点和数据节点角色拆分部署，主节点固定3个实例保障集群高可用，不需要做扩缩容；数据节点单独部署StatefulSet配置自动发现，避免数据节点扩缩容影响主节点选举稳定性。

内容的提问来源于stack exchange，提问作者Joey Yi Zhao