Elasticsearch子域名查询问题：无法匹配全部相关URL

问题根源 #

你遇到的匹配不稳定问题，核心原因是**url字段默认的text类型会对URL进行分词拆分**（比如把http://sds.test.com/User/Login拆成http、sds、test、com、User、Login等独立词），而wildcard、match这类查询是基于分词后的词片段匹配，而非完整的URL字符串，导致匹配逻辑混乱。

可行方案 #

方案1：使用keyword字段进行正则查询（无需重新索引） #

如果你的url字段已经包含keyword子字段（默认text类型会自动生成），直接针对原始字符串做正则匹配，覆盖所有test.com相关的场景：

{
  "query": {
    "regexp": {
      "url.keyword": ".*test\\.com(:\\d+)?(/.*)?"
    }
  }
}

• 正则解释：
  • .*test\.com：匹配任意前缀+test.com
  • (:\\d+)?：可选的端口部分（比如:8080）
  • (/.*)?：可选的路径部分（比如/User/Login或/register）

方案2：用bool组合多条件wildcard（兼容不同结尾场景） #

如果不想用正则，也可以通过布尔查询组合多个wildcard，覆盖test.com结尾、带端口、带路径的所有情况：

{
  "query": {
    "bool": {
      "should": [
        {"wildcard": {"url.keyword": "*test.com"}},
        {"wildcard": {"url.keyword": "*test.com:*"}},
        {"wildcard": {"url.keyword": "*test.com/*"}}
      ],
      "minimum_should_match": 1
    }
  }
}

• should列表中的三个条件满足任意一个即可返回结果，确保所有包含test.com的URL都能被匹配。

方案3：预提取域名字段（长期最优，性能更好） #

对于2亿条数据的规模，查询性能至关重要。建议在索引阶段通过Ingest Pipeline提取URL中的域名（host）单独存储，后续查询直接针对域名字段操作：

步骤1：创建提取域名的Pipeline

{
  "processors": [
    {
      "uri": {
        "field": "url",
        "target_field": "url_meta",
        "extract": ["host"]
      }
    },
    {
      "rename": {
        "field": "url_meta.host",
        "target_field": "domain"
      }
    },
    {
      "remove": {
        "field": "url_meta"
      }
    }
  ]
}

这个Pipeline会从url中提取出域名（比如http://sds.test.com/User/Login的domain字段值为sds.test.com）。

步骤2：查询域名字段

针对domain字段的keyword类型，用正则匹配所有以test.com结尾的域名：

{
  "query": {
    "regexp": {
      "domain.keyword": ".*test\\.com$"
    }
  }
}

• 优势：domain字段长度远短于完整URL，索引体积更小，查询速度更快，匹配逻辑更精准，不会受路径、端口干扰。

关键提示 #

• 所有方案都要针对keyword字段查询，而非默认的text字段，这样才能基于完整字符串匹配，避免分词带来的混乱。
• 如果无法重新索引数据，优先选方案1或2；如果可以重新索引，方案3是长期最优解，尤其适合大规模数据。

内容的提问来源于stack exchange，提问作者Michael