K8s部署的ES与Kibana运行数小时后报SearchPhaseExecutionException错误如何解决

Caused by: org.elasticsearch.action.search.SearchPhaseExecutionException: Search rejected due to missing shards [[.kibana_task_manager_7.14.0_001][0]]. Consider using allow_partial_search_results setting to bypass this error

该报错核心为Kibana依赖的系统索引.kibana_task_manager_7.14.0_001的0号分片完全不可用，allow_partial_search_results参数不生效是因为该查询为Kibana内部强制要求全部分片可用的系统级查询，用户自定义的参数无法覆盖该内部逻辑。运行数小时后复发的问题，本质是K8s环境下ES存储配置异常或者系统索引分片配置不合理，导致分片随ES Pod运行波动变为不可用。

• 第一步：排查ES持久化配置
  确认ES Pod以StatefulSet方式部署，且每个Pod绑定了独立的持久化存储卷（PV/PVC），未使用emptyDir等临时存储。如果使用临时存储，ES Pod重启或漂移后本地分片数据会直接丢失，而.kibana_task_manager系列索引默认副本数为0，单分片丢失就会触发报错。
  执行以下ES API查看索引基础配置：
  GET _cat/indices/.kibana_task_manager*?v
  若输出中rep（副本数）列值为0，即可确认索引无冗余分片。
• 第二步：调整系统索引分片配置
  若为多节点ES集群，给系统索引设置1个副本，避免单分片故障：

  PUT /.kibana_task_manager_7.14.0_001/_settings
  {
    "number_of_replicas": 1
  }
  

  若为单节点ES集群，调整索引分配规则避免分片分配失败：

  PUT /.kibana_task_manager_7.14.0_001/_settings
  {
    "index.routing.allocation.total_shards_per_node": 1,
    "number_of_replicas": 0
  }
  

• 第三步：修复当前已损坏的索引
  若现有索引分片已经完全丢失无法恢复，直接重建索引即可：
  1. 先缩容Kibana副本数为0，停止所有Kibana Pod
  2. 执行ES API删除损坏索引：DELETE /.kibana_task_manager_7.14.0_001
  3. 恢复Kibana副本数，Kibana启动时会自动创建新的可用系统索引
• 第四步：规避K8s Pod漂移风险
  给ES Pod配置节点亲和性，避免ES Pod频繁漂移到未绑定对应PV的节点；确认PVC回收策略为Retain，避免StatefulSet删除时PVC被同步清理。

处理完成后执行以下API查看集群状态：
GET _cluster/health?level=indices
确认.kibana_task_manager开头的索引状态为green，持续运行24小时无报错即为修复完成。

内容的提问来源于stack exchange，提问作者Pradeep Patil