如何使用Python结合知识库（如维基数据）实现全局拼写校正？

问题解决思路 #

之前的代码只能加载单个Wikidata实体的数据，要实现全局拼写校正，核心是直接调用Wikidata的公共SPARQL端点，一次性查询全库中匹配输入词的标签（包括官方名称、别名），再通过字符串相似度算法筛选最相关结果。

具体实现步骤 #

1. 用SPARQL语句向Wikidata公共端点发起全局查询，获取所有与输入词模糊匹配的多语言标签/别名
2. 收集所有候选词汇，先检查输入词本身是否正确（存在于候选库）
3. 用编辑距离算法计算输入词与候选词的相似度，返回最匹配的结果

完整代码实现 #

import requests
import difflib

def wikidata_spell_check(input_word, lang="zh"):
    # 构建SPARQL查询，匹配指定语言的官方标签和别名
    sparql_template = f"""
    SELECT ?label ?altLabel WHERE {{
      ?item rdfs:label ?label.
      OPTIONAL {{ ?item skos:altLabel ?altLabel. }}
      FILTER (
        (LANG(?label) = "{lang}" && CONTAINS(LCASE(?label), LCASE("{input_word}"))) ||
        (BOUND(?altLabel) && LANG(?altLabel) = "{lang}" && CONTAINS(LCASE(?altLabel), LCASE("{input_word}")))
      )
      LIMIT 100
    }}
    """
    
    # 发送查询请求到Wikidata的SPARQL服务
    resp = requests.get(
        "https://query.wikidata.org/sparql",
        params={"query": sparql_template, "format": "json"}
    )
    query_result = resp.json()
    
    # 收集所有匹配的候选词汇
    candidates = set()
    for item in query_result["results"]["bindings"]:
        if "label" in item:
            candidates.add(item["label"]["value"])
        if "altLabel" in item:
            candidates.add(item["altLabel"]["value"])
    
    # 优先返回原词（如果输入正确）
    if input_word in candidates:
        return input_word
    
    # 找不到原词则返回最相似的候选
    if candidates:
        closest = difflib.get_close_matches(input_word, candidates, n=1, cutoff=0.6)
        return closest[0] if closest else input_word
    # 无匹配结果时返回原词
    return input_word

# 测试示例
print(wikidata_spell_check("迈克尔杰逊"))  # 输出：迈克尔·杰克逊
print(wikidata_spell_check("上海"))        # 输出：上海
print(wikidata_spell_check("京北"))        # 输出：北京

关键细节说明 #

• 全局检索实现：通过Wikidata公共SPARQL端点直接查询全库，无需本地加载单个实体数据
• 模糊匹配：SPARQL中用LCASE()统一转小写，CONTAINS()实现不区分大小写的模糊匹配，扩大候选范围
• 相似度计算：用difflib.get_close_matches基于编辑距离筛选最相似词汇，可通过cutoff参数调整匹配严格程度（值越高越严格）
• 性能优化：设置LIMIT限制返回结果数量，避免查询超时；可缓存高频查询结果提升响应速度

内容的提问来源于stack exchange，提问作者diamond