离线CLI企业规则书搜索工具中文异体字精准匹配优化问询

问题核心 #

现有基于NFKC的文本归一化无法处理中文异体字（如「說」vs「說」、「練」vs「練」），导致精确匹配失败后触发父节点回退逻辑，输出范围超出预期（比如搜索「程序說明」时误包含3.3节点）。需要纯离线、无需维护海量异体字映射的方案，实现精准匹配并控制输出范围。

解决方案 #

1. 轻量级异体字归一化（依赖极小） #

放弃重量级的OpenCC，改用轻量库zhconv（仅几百KB），它支持自动将繁体异体字转换为标准繁体，同时兼容NFKC归一化，无需手动维护映射。

修改后的归一化函数：

import unicodedata
import re
from zhconv import convert

PUNCT_PAT = re.compile(r'[^\w\s]')

def normalize_txt(t: str) -> str:
    # 转换为标准繁体，自动折叠异体字
    t = convert(t, 'zh-tw')
    # NFKC归一化统一字符形态
    t = unicodedata.normalize('NFKC', t)
    # 移除标点并转小写
    t = PUNCT_PAT.sub('', t)
    return t.lower()

优势：本地运行，依赖体积小，自动处理绝大多数异体字场景，无需手动维护映射表。

2. 字符相似度模糊匹配+层级过滤 #

放弃精确匹配逻辑，改用字符级相似度计算（利用Python内置difflib库），通过设定相似度阈值筛选匹配节点，同时严格控制回退逻辑，避免无差别回退到父节点。

实现示例：

from difflib import SequenceMatcher
# 复用上面的normalize_txt函数

def calculate_similarity(a: str, b: str) -> float:
    return SequenceMatcher(None, normalize_txt(a), normalize_txt(b)).ratio()

def router(query: str):
    normalized_query = normalize_txt(query)
    matched_nodes = []
    
    # 遍历所有节点计算相似度
    for node in all_nodes:
        title_sim = calculate_similarity(node['title'], normalized_query)
        source_sim = calculate_similarity(node['source'], normalized_query)
        max_sim = max(title_sim, source_sim)
        # 设定合理阈值（可根据实际场景调整）
        if max_sim >= 0.8:
            matched_nodes.append((max_sim, node['id'], node['level']))
    
    if matched_nodes:
        # 按相似度排序，优先选择层级最深的精确匹配
        matched_nodes.sort(reverse=True, key=lambda x: (x[0], len(x[2].split('.'))))
        return matched_nodes[0][1]
    
    # 仅当无任何节点匹配时，回退到父节点层级（最多一级）
    # 回退时需再次验证父节点的相似度
    parent_matches = []
    for node in all_nodes:
        if len(node['level'].split('.')) == len(normalized_query.split('.')) -1:
            parent_sim = calculate_similarity(node['title'], normalized_query)
            if parent_sim >= 0.7:
                parent_matches.append((parent_sim, node['id']))
    if parent_matches:
        parent_matches.sort(reverse=True, key=lambda x: x[0])
        return parent_matches[0][1]
    
    # 无匹配时返回空或提示
    return None

优势：纯Python内置实现，无需额外依赖，从根本上避免异体字导致的精确匹配失败，同时通过层级排序优先选择最精确的子节点，严格控制回退范围。

3. 预构建字形特征索引（离线） #

对于极端异体字场景（如罕见字形），可预计算每个标题的汉字字形特征（部首、笔画数），查询时通过特征向量匹配。使用轻量库hanzi-basics本地生成特征，无需联网。

实现思路：

• ETL阶段：对每个节点的title/source，提取每个汉字的部首和笔画数，生成特征字符串（如「說」→「言14」）
• 查询阶段：将用户查询转换为同样的特征字符串，通过字符串相似度匹配节点
• 结合层级过滤，优先选择最深层级的匹配节点

优势：从字形层面解决异体字问题，不依赖字符编码，纯离线运行，维护成本低。

回退逻辑优化（必做） #

无论采用哪种匹配方案，都需要修改router的回退逻辑：

• 仅当无任何子节点匹配时，才允许回退到父节点
• 回退时必须验证父节点与查询的相似度（设定阈值），避免无差别回退
• 限制回退最多一级，禁止跨多级回退（如从3.2.1直接回退到3）

内容的提问来源于stack exchange，提问作者Chloe Bennett