You need to enable JavaScript to run this app. 查询维基百科XML dumps的文件结构及各gzip文件内容
优惠活动
大模型
产品
解决方案
定价
更多

查询维基百科XML dumps的文件结构及各gzip文件内容

维基百科XML dumps通用结构规则

所有语言版本的Wikimedia XML dumps遵循统一的XML Schema,无语言特异性差异,层级结构固定:

  • 根节点为<mediawiki>,下属核心区块分为三类:
    • <siteinfo>:前置元数据块,存储站点名称、命名空间映射规则、导出格式版本等固定信息,仅在文件开头出现一次
    • <page>:单页面容器,每个节点对应一个独立条目/页面对象,内部核心字段包括:
      • <title>:页面完整标题(含命名空间前缀,如Súgó:对应帮助页)
      • <ns>:数字形式的命名空间编号,与<siteinfo>中的映射规则一一对应
      • <id>:页面全局唯一ID
      • <revision>:版本容器,默认导出配置下仅包含页面最新版本,历史版本类dump会包含多版本节点
      • 最新<revision>内的<text>节点:存储页面原始wikitext内容
    • 辅助节点:无实际内容价值,解析时可直接跳过
不同gzip格式XML dump的内容区分

同一语言最新导出目录下的XML gzip文件,内容范围差异明确,可按需选择:

  • {lang}wiki-{date}-pages-articles.xml.gz:仅包含主命名空间(ns=0,普通条目)的最新版本内容,无冗余的讨论页、模板页、历史版本,是体量最小的全量条目内容包,适合词表收集的正式处理任务
  • {lang}wiki-{date}-pages-meta-current.xml.gz:包含所有命名空间下所有页面的最新版本,覆盖主条目、分类页、模板页、讨论页、用户页等,适合需要提取非主命名空间词汇的场景,体量比前者高30%-50%
  • {lang}wiki-{date}-pages-meta-history.xml.gz:包含所有页面的全部历史版本,体量为全量内容的5-10倍,无特殊需求不要选择;若使用需额外过滤冗余历史版本,SAX处理的计算成本极高
  • {lang}wiki-{date}-pages-articles-{n}.xml.gz:分块拆分的主条目内容包,按固定大小切割全量pages-articles内容,单块大小一般为几十到几百MB,是测试SAX解析逻辑的最优选择,不需要下载全量几十GB的大文件即可验证完整流程
  • 其余非XML格式的导出文件(如SQL dump、静态HTML导出等)不适用SAX流处理方案,无需考虑
适配SAX流处理的实操提示
  • 测试阶段优先下载1-2块分块的pages-articles小文件,即可覆盖“提取标题、过滤命名空间、解析wikitext、提取词条”的全流程验证
  • SAX解析时可设置节点过滤规则:<siteinfo>仅缓存命名空间映射表,无需遍历全部子节点;<page>节点仅取最新<revision>的<text>内容,跳过所有历史版本节点
  • 匈牙利语(huwiki)的文件命名规则与其他语言完全一致,仅需将文件名中的语言前缀替换为huwiki即可

内容的提问来源于stack exchange,提问作者inf3rno

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.06 23:06:06