Python爬取维基百科提取摘要出现PageError的解决方法咨询
报错原因
- 核心问题是调用
wikipedia.summary()时传入的参数格式错误:你从文件读取的是/wiki/页面标题格式的完整路径,但wikipedia库的summary接口仅接收纯页面标题作为参数,传入带/wiki/前缀的字符串会被库识别为不存在的页面id,触发报错。 - 即使修正参数格式,也可能遇到页面实际不存在、页面是消歧义页的情况,同样会触发异常中断程序。
修复后的脚本2代码
import wikipedia import re wikipedia.set_lang("en") # 读取链接列表 with open("linkedwords.txt") as f: word_list = f.read().splitlines() # 统一打开输出文件,避免循环内反复IO with open("theme.txt","a", encoding="utf-8") as file1: for link in word_list: # 提取纯页面标题,去掉/wiki/前缀 page_title = link[len("/wiki/"):] try: # 尝试提取摘要 wiki_summary = wikipedia.summary(page_title, sentences=2) # 文本处理 clean_text = re.sub(r'==.*?==+', '', wiki_summary) clean_text = clean_text.replace('\n', ' ') # 写入文件 file1.write(f"\n{link}\n{clean_text}") # 捕获页面不存在的错误 except wikipedia.exceptions.PageError: continue # 捕获消歧义页错误 except wikipedia.exceptions.DisambiguationError: continue
关键修改说明
- 参数格式修正:截取链接的
/wiki/之后的部分作为页面标题传入接口,符合库的参数要求。 - 异常捕获:用try-except块捕获两类常见报错,触发时直接跳过当前链接,继续处理下一个,不会中断整个批量任务。
- 效率优化:将输出文件的打开操作放在循环外,避免循环内反复开闭文件带来的性能损耗,新增utf-8编码声明避免特殊字符写入报错。
内容的提问来源于stack exchange,提问作者Rishu Mcr
相关产品推荐
相关产品推荐

