如何在Kibana中记录所有Elasticsearch查询及对应响应体？

你提到的将慢日志阈值设为0、再通过Filebeat采集推送到Kibana的方案是可行的，除此之外还有3种可落地的方案，你可以根据集群规模和运维成本选择：

方案1：开启Elasticsearch原生审计日志 #

X-Pack自带的审计日志模块不需要额外安装组件，直接修改elasticsearch.yml配置即可开启全量请求响应记录：

xpack.security.audit.enabled: true
# 指定要记录的事件类型，包含读索引请求
xpack.security.audit.logfile.events.include: ["authentication_success", "indices_read_requests"]
# 开启请求体、响应体记录
xpack.security.audit.logfile.emit_request_body: true
xpack.security.audit.logfile.emit_response_body: true

配置生效后ES会把所有请求的来源IP、操作用户、查询DSL、返回结果全量写入审计日志文件，后续同样可以用Filebeat采集日志写入ES索引，就能在Kibana里检索查看。
注意：高QPS的生产集群开这个配置会快速占用大量磁盘空间，建议提前配置日志轮转和留存策略。

方案2：在Kibana与ES之间加代理层采集 #

在Kibana和ES集群之间部署一层反向代理（Nginx、Envoy都可以实现），配置流量镜像规则，把所有发往ES的请求体、对应的响应体全量捕获，结构化处理后直接写入ES供Kibana查询。
这个方案的优势是完全不需要改动ES集群的配置，不会占用ES节点的CPU、内存资源，还可以灵活配置脱敏规则、采样策略，对业务集群的影响最小，适合生产环境使用。如果有开发能力，也可以自己写轻量代理服务，自定义采集字段。

方案3：通过ES插件/APM链路采集 #

• 自研ES搜索插件：实现ES提供的SearchPlugin接口，在查询执行的前后置拦截点埋点，每次查询执行完成后直接把请求DSL、响应结果、耗时、索引信息等字段写入专门的日志索引，优点是采集灵活，不需要额外部署代理，缺点是需要适配ES版本，插件出问题可能影响集群稳定性。
• Elastic APM全量采样：如果你已经在用Elastic APM，给ES节点挂载APM agent，把采样率调到100%，就可以在Kibana的APM页面直接查看每一次查询的完整请求、响应内容，还能看到查询在分片、协调节点的执行链路细节，方便排查性能问题，缺点是全量采样下APM的存储开销很高，需要额外维护APM组件。

注意：全量记录所有查询和响应会带来明显的额外性能和存储开销，生产环境落地前一定要做好压测和容量评估，敏感字段建议提前做脱敏处理，避免数据泄露。

内容的提问来源于stack exchange，提问作者shivam agarwal