使用Python Wikipedia库查询存在页面却触发PageError的问题

• 核心问题：查询库的自动归一化/重定向机制
  你使用的维基百科查询工具（比如Python的wikipedia库）默认会对查询词做自动归一化处理——包括转换下划线为空格、尝试同义词匹配、自动跳转相关页面。Customer_advocacy被转为customer advocate就是这个机制导致的：工具误判你要查询的是更常用的变体页面，忽略了实际存在的精确标题页面。

• 解决方案：强制精确匹配查询
  以Python的wikipedia库为例，修改查询逻辑，禁用自动提示和重定向，强制使用精确标题查询：

  import wikipedia
  
  wikipedia.set_lang("en")
  for keyword in df["关键词列名"]:
      try:
          # 关闭自动提示与重定向，确保精确匹配标题
          page = wikipedia.page(keyword, auto_suggest=False, redirect=False)
          content = page.content
          # 后续处理TF-IDF的逻辑
      except wikipedia.exceptions.PageError:
          print(f"未找到页面：{keyword}")
  

  关键参数作用：

  • auto_suggest=False：关闭同义词替换和自动提示，直接使用传入的原始关键词
  • redirect=False：禁止自动跳转到重定向页面，仅查找标题完全匹配的页面

• 额外注意事项

  • 确保DataFrame中的关键词与维基百科页面标题完全一致（包括大小写、下划线/空格的格式），比如Customer_advocacy不能写成customer_advocacy或Customer Advocacy
  • 批量处理前可先校验关键词格式，避免因格式差异导致查询失败
  • 若使用其他维基百科API客户端（如mwclient），需找到对应精确匹配的配置项，关闭自动转换逻辑

内容的提问来源于stack exchange，提问作者Jason Somoglou