关于GCP外部HTTP(S)负载均衡器大量internal_error日志的原因咨询

近期我们的GCP外部HTTP(S)负载均衡器开始生成大量包含statusDetails: "internal_error"的日志，每小时约200万条。该负载均衡器配置了4个关联Cloud Run的无服务器NEG后端服务，近15天未做任何配置变更，应用/后端服务流量无变化且未受此情况影响。

日志示例如下：

{
  "insertId": "h7bxsuflmbgkx",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.cloud.loadbalancing.type.LoadBalancerLogEntry",
    "remoteIp": "remote_ip_replaced",
    "statusDetails": "internal_error"
  },
  "httpRequest": {
    "remoteIp": "remote_ip_replaced",
    "latency": "0s"
  },
  "resource": {
    "type": "http_load_balancer",
    "labels": {
      "backend_service_name": "",
      "url_map_name": "",
      "zone": "global",
      "project_id": "project_id_replaced",
      "target_proxy_name": "",
      "forwarding_rule_name": "rule_name_replaced"
    }
  },
  "timestamp": "2022-10-06T19:04:48.807346Z",
  "severity": "INFO",
  "logName": "projects/project_id_replaced/logs/requests",
  "receiveTimestamp": "2022-10-06T19:04:49.013874339Z"
}

可能的原因如下：

• 负载均衡器内部组件临时波动：GCP负载均衡的前端转发组件可能出现短暂的内部状态异常，这类错误是负载均衡器自身处理请求时的逻辑问题，不会传递到后端Cloud Run服务，因此应用不受影响。这类情况通常会自行恢复，若持续存在可关注GCP平台状态页面的相关组件运行状态。
• 无服务器NEG路由/健康检查内部异常：尽管后端流量正常，但负载均衡器在路由请求时，可能存在部分请求在URL映射解析阶段触发内部错误，或是无服务器NEG的健康检查机制出现内部误报，但未干扰正常请求的转发流程。
• 无效/恶意流量触发的内部处理错误：大量不符合HTTP规范的无效请求、空请求或恶意扫描请求，在负载均衡器前端处理时触发内部错误逻辑，这类请求不会被转发到后端服务，因此应用未受影响。可通过日志中的remoteIp字段排查是否存在集中的异常IP来源。
• GCP平台后台变更：即使自身未修改配置，GCP可能在后台对负载均衡相关组件进行版本更新或内部调整，部分变更可能导致这类内部错误日志产生，通常平台会在后续迭代中修复此类问题。

内容的提问来源于stack exchange，提问作者Gabriel Hodoroaga