查询维基百科XML dumps的文件结构及各gzip文件内容
维基百科XML dumps通用结构规则
所有语言版本的Wikimedia XML dumps遵循统一的XML Schema,无语言特异性差异,层级结构固定:
- 根节点为
<mediawiki>,下属核心区块分为三类:<siteinfo>:前置元数据块,存储站点名称、命名空间映射规则、导出格式版本等固定信息,仅在文件开头出现一次<page>:单页面容器,每个节点对应一个独立条目/页面对象,内部核心字段包括:<title>:页面完整标题(含命名空间前缀,如Súgó:对应帮助页)<ns>:数字形式的命名空间编号,与<siteinfo>中的映射规则一一对应<id>:页面全局唯一ID<revision>:版本容器,默认导出配置下仅包含页面最新版本,历史版本类dump会包含多版本节点- 最新
<revision>内的<text>节点:存储页面原始wikitext内容
- 辅助节点:无实际内容价值,解析时可直接跳过
不同gzip格式XML dump的内容区分
同一语言最新导出目录下的XML gzip文件,内容范围差异明确,可按需选择:
{lang}wiki-{date}-pages-articles.xml.gz:仅包含主命名空间(ns=0,普通条目)的最新版本内容,无冗余的讨论页、模板页、历史版本,是体量最小的全量条目内容包,适合词表收集的正式处理任务{lang}wiki-{date}-pages-meta-current.xml.gz:包含所有命名空间下所有页面的最新版本,覆盖主条目、分类页、模板页、讨论页、用户页等,适合需要提取非主命名空间词汇的场景,体量比前者高30%-50%{lang}wiki-{date}-pages-meta-history.xml.gz:包含所有页面的全部历史版本,体量为全量内容的5-10倍,无特殊需求不要选择;若使用需额外过滤冗余历史版本,SAX处理的计算成本极高{lang}wiki-{date}-pages-articles-{n}.xml.gz:分块拆分的主条目内容包,按固定大小切割全量pages-articles内容,单块大小一般为几十到几百MB,是测试SAX解析逻辑的最优选择,不需要下载全量几十GB的大文件即可验证完整流程- 其余非XML格式的导出文件(如SQL dump、静态HTML导出等)不适用SAX流处理方案,无需考虑
适配SAX流处理的实操提示
- 测试阶段优先下载1-2块分块的pages-articles小文件,即可覆盖“提取标题、过滤命名空间、解析wikitext、提取词条”的全流程验证
- SAX解析时可设置节点过滤规则:
<siteinfo>仅缓存命名空间映射表,无需遍历全部子节点;<page>节点仅取最新<revision>的<text>内容,跳过所有历史版本节点 - 匈牙利语(huwiki)的文件命名规则与其他语言完全一致,仅需将文件名中的语言前缀替换为
huwiki即可
内容的提问来源于stack exchange,提问作者inf3rno
相关产品推荐
相关产品推荐

