如何使用ELK解析HTTP GET请求返回的HTML格式响应数据？

内置Beats组件实现方案 #

可以通过Beats（Metricbeat）的内置组件实现需求，无需引入第三方服务，适配结构简单的HTML响应场景：

• 首先配置Metricbeat的http模块，关闭默认JSON校验、开启响应体存储，参考配置如下：

metricbeat.modules:
- module: http
  metricsets: ["json"]
  period: 10s # 按需调整采集周期
  hosts: ["http://127.0.0.1:8090/stats/"]
  method: GET
  response.include_body: true
  json.enabled: false # 关闭JSON解析，避免HTML格式返回报错

• 新增内置script处理器，从原始HTML中提取目标指标，支持正则匹配、字符串切割等操作，参考配置如下：

processors:
  - script:
      lang: javascript
      source: >
        function process(event) {
          // 获取原始HTML响应内容
          var htmlContent = event.Get("http.response.body.content");
          // 示例：提取页面内的请求总数字段
          var reqCountMatch = htmlContent.match(/总请求数：([0-9]+)/);
          if (reqCountMatch) {
            event.Put("service.req_total", parseInt(reqCountMatch[1]));
          }
          // 其他指标提取逻辑可按实际HTML结构扩展
          // 可选：删除原始HTML字段降低数据体积
          event.Delete("http.response.body.content");
        }

• 最后配置Metricbeat输出指向Logstash即可，和常规采集配置逻辑一致。

如果你的HTML响应结构复杂、嵌套标签多，用正则提取出错概率高，可参考以下替代方案调研方向：

替代方案调研方向 #

• Logstash侧解析：直接用Metricbeat将原始HTML发送到Logstash，通过Logstash的xml过滤器将HTML转为可解析的XML结构，配合xpath过滤器定位DOM节点提取指标；也可以用ruby过滤器引入成熟的HTML解析库，实现更灵活的解析逻辑。
• 轻量自定义采集脚本：用Python/Go等开发简单的定时任务脚本，发起GET请求后通过专门的HTML解析库（如Python的BeautifulSoup、Go的goquery）提取指标，直接将结构化数据发送到Logstash的HTTP/TCP输入端口即可。
• 数据源侧改造：如果有权限调整提供指标的Web服务，最低成本的方案是新增返回JSON格式的指标接口，直接用Metricbeat原生的http JSON解析能力采集，无需额外开发解析逻辑。

内容的提问来源于stack exchange，提问作者Doe