Elasticsearch中uax_url_email分词器处理特殊字符邮件分多token的解决方案

使用uax_url_email分词器处理邮箱字段时，普通邮箱（如johndoe@yahoo.com）能生成单个token，但包含外文或特殊字符的邮箱（如johndoeó8@yahoo.com）会被拆分为多个token，需解决该问题。

现有配置及测试 #

创建索引请求 #

PUT email-test-index
{
  "settings": {
    "index": {
      "analysis": {
        "analyzer": {
          "email_analyzer": {
            "filter": ["lowercase"],
            "tokenizer": "email_tokenizer"
          }
        },
        "tokenizer": {
          "email_tokenizer": {
            "type": "uax_url_email"
          }
        }
      }
    }
  },
  "mappings": {
    "date_detection": false,
    "numeric_detection": false,
    "properties": {
      "EMAIL": {
        "type": "text",
        "store": true,
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 256
          }
        },
        "analyzer": "email_analyzer"
      }
    }
  }
}

正常情况测试 #

请求：

GET email-test-index/_analyze
{
  "field": "EMAIL",
  "text": "johndoe@yahoo.com"
}

结果：

{
  "tokens" : [
    {
      "token" : "johndoe@yahoo.com",
      "start_offset" : 0,
      "end_offset" : 17,
      "type" : "<EMAIL>",
      "position" : 0
    }
  ]
}

异常情况测试 #

请求：

GET email-test-index/_analyze
{
  "field": "EMAIL",
  "text": "johndoeó8@yahoo.com"
}

结果：

{
  "tokens" : [
    {
      "token" : "johndoeó8",
      "start_offset" : 0,
      "end_offset" : 9,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "yahoo.com",
      "start_offset" : 10,
      "end_offset" : 19,
      "type" : "<URL>",
      "position" : 1
    }
  ]
}

解决方案 #

uax_url_email分词器仅支持ASCII范围内的字符识别邮箱，对包含Unicode字符的邮箱无法正确匹配。可改用自定义pattern分词器，通过正则表达式匹配包含Unicode字符的完整邮箱。

修改后的索引配置 #

PUT email-test-index
{
  "settings": {
    "index": {
      "analysis": {
        "analyzer": {
          "email_analyzer": {
            "filter": ["lowercase"],
            "tokenizer": "custom_email_tokenizer"
          }
        },
        "tokenizer": {
          "custom_email_tokenizer": {
            "type": "pattern",
            "pattern": "\\S+@\\S+",
            "group": 0
          }
        }
      }
    }
  },
  "mappings": {
    "date_detection": false,
    "numeric_detection": false,
    "properties": {
      "EMAIL": {
        "type": "text",
        "store": true,
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 256
          }
        },
        "analyzer": "email_analyzer"
      }
    }
  }
}

说明：正则\S+@\S+会匹配任意非空白字符组成的邮箱（包含Unicode字符），确保整个邮箱被识别为单个token。

验证测试 #

请求：

GET email-test-index/_analyze
{
  "field": "EMAIL",
  "text": "johndoeó8@yahoo.com"
}

结果：

{
  "tokens": [
    {
      "token": "johndoeó8@yahoo.com",
      "start_offset": 0,
      "end_offset": 19,
      "type": "word",
      "position": 0
    }
  ]
}

进阶优化（可选） #

如果需要更严格的邮箱格式匹配，可使用精准正则表达式，支持Unicode用户名和合规域名：

"custom_email_tokenizer": {
  "type": "pattern",
  "pattern": "[\\p{L}\\p{N}_.-]+@[\\p{L}\\p{N}_.-]+\\.[\\p{L}]{2,}",
  "group": 0
}

该正则匹配规则：

• 用户名：Unicode字母、数字、下划线、点、横杠
• 域名：同上，且包含至少2个字符的顶级域名

内容的提问来源于stack exchange，提问作者TAugusti