基于Envoy的Header转Metadata过滤正则失效问题排查

我需要移除路径中的查询参数，让Envoy Istio过滤器仅基于API路径进行限流过滤。但使用现有配置后，路由过滤仍保留路径中的查询参数，并未截断。限流服务检测到描述符（"PATH", "/foo?param=value"）无特殊配置，因此使用了默认的"PATH"限流规则。请问为何截断正则未生效？

现有配置 #

apiVersion: networking.istio.io/v1alpha3
kind: EnvoyFilter
metadata:
  name: {{ template "name" . }}-httpfilter
  namespace: istio-system
spec:
  workloadSelector:
    labels:
      istio: ingressgateway
  configPatches:
  - applyTo: HTTP_FILTER
    match:
      context: GATEWAY
      listener:
          filterChain:
            filter:
              name: "envoy.filters.network.http_connection_manager"
              subFilter:
                name: "envoy.filters.http.router"
    patch:
        operation: INSERT_BEFORE
        value:
          name: envoy.filters.http.header_to_metadata
          typed_config:
            "@type": type.googleapis.com/envoy.extensions.filters.http.header_to_metadata.v3.Config
            request_rules:
            - header: ':path'
              on_header_present:
                metadata_namespace: qry-filter
                key: uri
                regex_value_rewrite:
                  pattern:
                    regex: '^(\/[\/\d\w-]+)\??.*$'
                  substitution: '\\1'
  - applyTo: HTTP_FILTER
    match:
      context: GATEWAY
      listener:
          filterChain:
            filter:
              name: 'envoy.filters.network.http_connection_manager'
              subFilter:
                name: 'envoy.filters.http.router'
    patch:
        operation: INSERT_BEFORE
        value:
          name: envoy.filters.http.ratelimit
          typed_config:
            '@type': type.googleapis.com/envoy.extensions.filters.http.ratelimit.v3.RateLimit
            domain: {{ template "fullname" . }}-ratelimit
            failure_mode_deny: true
            rate_limit_service:
              grpc_service:
                envoy_grpc:
                  cluster_name: rate_limit_cluster
                timeout: 10s
              transport_api_version: V3
  - applyTo: CLUSTER
    match:
      cluster:
        service: ratelimit.{{ .Values.openapi.destinationSuffix }}
    patch:
      operation: ADD
      value:
        name: rate_limit_cluster
        type: STRICT_DNS
        connect_timeout: 10s
        lb_policy: ROUND_ROBIN
        http2_protocol_options: {}
        load_assignment:
          cluster_name: rate_limit_cluster
          endpoints:
          - lb_endpoints:
            - endpoint:
                address:
                  socket_address:
                    address: ratelimit.{{ .Values.openapi.destinationSuffix }}
                    port_value: 8081

---

apiVersion: networking.istio.io/v1alpha3
kind: EnvoyFilter
metadata:
  name: {{ template "name" . }}-virtualhost
  namespace: istio-system
spec:
  workloadSelector:
    labels:
      istio: ingressgateway
  configPatches:
    - applyTo: VIRTUAL_HOST
      match:
        context: GATEWAY
        routeConfiguration:
          vhost:
            name: ""
            route:
              action: ANY
      patch:
        operation: MERGE
        value:
          rate_limits:
          - actions:
              - dynamic_metadata:
                  descriptor_key: PATH
                  metadata_key:
                    key: qry-filter
                    path:
                    - key: uri

---

apiVersion: v1
kind: ConfigMap
metadata:
  name: ratelimit-config
data:
  config.yaml: |
    domain: {{ template "fullname" . }}-ratelimit
    descriptors:
      - key: PATH
        rate_limit:
          unit: minute
          requests_per_unit: 10

1. 正则表达式匹配逻辑错误 #

当前使用的正则^(\/[\/\d\w-]+)\??.*$存在缺陷：

• 字符集[\/\d\w-]+包含了/，会导致匹配时优先捕获连续的/，对于正常路径/foo，只能捕获到/而非完整的/foo；对于多级路径/foo/bar，也无法正确匹配。
• 正确的正则应该改为^(\/[^?]+)\??.*$，直接匹配从开头到第一个?之前的所有内容，能兼容任意层级的路径，且准确截断查询参数。

2. 过滤器执行顺序问题 #

两个HTTP过滤器（header_to_metadata和ratelimit）都配置为INSERT_BEFORE envoy.filters.http.router，但Istio对同位置插入的过滤器顺序不做保证。如果ratelimit先于header_to_metadata执行，就会拿到未处理的原始路径。

• 调整方法：将header_to_metadata过滤器的插入位置改为INSERT_BEFORE envoy.filters.http.ratelimit，确保元数据处理在限流之前完成。修改后的match部分如下：

  match:
    context: GATEWAY
    listener:
        filterChain:
          filter:
            name: "envoy.filters.network.http_connection_manager"
            subFilter:
              name: "envoy.filters.http.ratelimit"
  

3. 正则替换的转义问题 #

YAML配置中substitution: '\\1'会被解析为\1，虽然Envoy能识别，但更规范的写法是直接使用\1，避免不必要的转义混淆。

验证方法 #

• 通过Envoy管理端口查看配置：执行curl <ingressgateway-pod-ip>:15000/config_dump，检查header_to_metadata过滤器的正则配置是否正确加载。
• 查看限流服务日志，确认收到的PATH描述符是否为截断后的路径。

内容的提问来源于stack exchange，提问作者NecessaryDevil