如何检索含至少一个表格的维基百科文章？API检索wikitable类文章问询

嘿，我来帮你搞定这两个维基百科数据检索的问题～

直接通过API逐个遍历所有文章效率极低，最实用的方案是借助维基百科的数据库转储文件来批量处理，具体步骤如下：

• 下载对应语言版本的页面内容转储（比如英文维基的enwiki-latest-pages-articles.xml.bz2），这个文件包含了所有主命名空间的文章内容
• 使用专门的维基文本解析库（比如Python的mwparserfromhell）来遍历每篇文章的wikitext内容
• 检查页面中是否存在维基表格的基础语法：即是否包含{|（表格起始标记）和|}（表格结束标记）——这是所有维基表格的通用结构，不管有没有加wikitable类

如果只是需要抽样或者小范围查询，也可以用维基百科的搜索API（CirrusSearch），搜索关键词"{|"，但这种方法可能会有少量误判（比如文本里刚好出现了这个符号），而且受搜索结果数量限制，没法拿到全量数据。

针对这个需求，CirrusSearch API是最直接高效的方案，维基百科的搜索后端基于Elasticsearch，支持直接搜索带有特定HTML类的内容，具体实现步骤：

1. 调用维基百科的MediaWiki API，使用以下核心参数：

   • action=query：指定执行查询操作
   • generator=search：通过搜索结果生成页面列表
   • gsrsearch="hashtmlclass:wikitable"：搜索所有包含wikitable类元素的页面
   • gsrlimit=50：每次请求返回的结果数量（最大可设为500）
   • format=json：指定返回格式为JSON

   完整的请求参数串示例（以英文维基为例）：

   action=query&generator=search&gsrsearch=hashtmlclass:wikitable&gsrlimit=50&format=json
   

2. 分页处理：因为符合条件的文章数量极大，需要通过gsroffset参数来分页获取后续结果，比如第一次请求gsroffset=0，第二次gsroffset=50，以此类推，直到返回的结果为空。

如果你需要全量数据，还是推荐用数据库转储的方式：

• 解析转储中的wikitext，找到所有表格节点（用mwparserfromhell的get_tables()方法）
• 检查每个表格的属性中是否包含wikitable类（比如表格的class参数里有这个值）

两种方式对比：API适合实时查询、小批量获取；数据库转储适合一次性获取全量数据，适合做大规模分析。

内容的提问来源于stack exchange，提问作者user9597867