寻求基于预定义标识符的文件名与桶匹配算法

需求描述 #

我需要一个能根据桶的标识符属性，将文件名匹配到对应「桶」的算法。核心是从给定文件名中找出匹配度最高的桶，支持排序输出。目前考虑过简单的字符串匹配实现，但局限性较强，接受客户端内存级实现或服务端依赖搜索引擎的实现方案。

示例代码 #

const buckets = [
  { id: 1, identifiers: ['jhdi753hhdy', 'foo', 'u-123'] },
  { id: 2, identifiers: ['hasd834kasd', 'bar', 'u-112'] },
  { id: 3, identifiers: ['adf8wersbay', 'buz', 'u-234', 'u-112'] },
]

bestMatch('file-jhdi7-53hhdy', buckets) // => [{ id: 1, ... }]
bestMatch('file-u112', buckets) // => [{ id: 2, ... }, { id: 3, ... }]
bestMatch('isBUZZfile', buckets) // => [{ id: 3, ... }]

核心要求 #

• 桶的标识符允许重复
• 匹配无需完全一致，但完全匹配优先级最高
• 最好能标注匹配时使用的具体标识符
• 最好能为每个匹配结果提供「置信度」或「权重」值

实现思路 #

客户端内存实现方案 #

1. 预处理标识符：将所有桶的标识符统一转为小写（或大写），同时为每个标识符生成去特殊符号的干净片段，提前构建索引映射：{ 预处理后的标识符: [关联桶信息, 原标识符] }
2. 文件名预处理：对输入文件名做同样的大小写转换、去特殊符号处理，统一格式
3. 匹配与评分：
   • 先检查完全匹配：若预处理后的文件名包含完整的预处理标识符，给该桶加高分（比如10分），记录匹配的原标识符
   • 再处理部分匹配：若文件名的干净片段包含标识符的干净片段，给该桶加中等分（比如5分），避免遗漏近似匹配
   • 合并同一桶的多次匹配得分，按总分降序排序，最终返回带匹配标识符和置信度的结果数组

示例代码片段：

function bestMatch(filename, buckets) {
  // 构建标识符索引，统一预处理格式
  const idIndex = new Map();
  buckets.forEach(bucket => {
    bucket.identifiers.forEach(id => {
      const processedId = id.toLowerCase().replace(/[^a-zA-Z0-9]/g, '');
      if (!idIndex.has(processedId)) {
        idIndex.set(processedId, []);
      }
      idIndex.get(processedId).push({ bucket, originalId: id });
    });
  });

  const processedFilename = filename.toLowerCase().replace(/[^a-zA-Z0-9]/g, '');
  const matches = new Map();

  // 优先处理完全匹配
  idIndex.forEach((entries, processedId) => {
    if (processedFilename.includes(processedId)) {
      entries.forEach(({ bucket, originalId }) => {
        if (!matches.has(bucket.id)) {
          matches.set(bucket.id, {
            ...bucket,
            matchedIdentifiers: [],
            confidence: 0
          });
        }
        const match = matches.get(bucket.id);
        match.matchedIdentifiers.push(originalId);
        match.confidence += 10;
      });
    }
  });

  // 处理部分匹配（未被完全匹配覆盖的桶）
  idIndex.forEach((entries, processedId) => {
    const targetBucket = entries[0].bucket;
    if (!matches.has(targetBucket.id) && processedFilename.includes(processedId.slice(0, Math.max(3, processedId.length/2)))) {
      entries.forEach(({ bucket, originalId }) => {
        if (!matches.has(bucket.id)) {
          matches.set(bucket.id, {
            ...bucket,
            matchedIdentifiers: [],
            confidence: 0
          });
        }
        const match = matches.get(bucket.id);
        match.matchedIdentifiers.push(originalId);
        match.confidence += 5;
      });
    }
  });

  // 按置信度降序返回结果
  return Array.from(matches.values()).sort((a, b) => b.confidence - a.confidence);
}

服务端搜索引擎实现方案 #

如果桶的数量极大，客户端内存方案性能不足，可以借助全文检索引擎的能力：

1. 将每个桶作为文档，把标识符字段作为检索关键词存入搜索引擎（如Elasticsearch），提前配置分词规则（保留数字、字母连续片段）
2. 对输入文件名做同样的分词处理，提交检索请求时设置权重规则：精确短语匹配权重最高，部分匹配权重次之
3. 搜索引擎返回的结果自带相关性评分，可直接作为置信度使用，同时能提取匹配的关键词（即原标识符）
4. 重复标识符的场景无需额外处理，搜索引擎会自动关联所有包含该标识符的桶

内容的提问来源于stack exchange，提问作者Bert Goethals