如何从维基百科20221201数据dump中获取仅含元数据的文件?
维基百科元数据Dump文件选择方法
你查看的2022年12月1日英文维基百科dump页面里,确实存在仅包含元数据的文件,无需下载完整页面内容,按需求对应选择即可:
- 标题、编辑时间等核心页面元数据:
- 偏好文本格式的话,找名称带
pages-articles-multistream-index的文件(比如enwiki-20221201-pages-articles-multistream-index.txt.gz),里面只记录页面标题、ID、最后编辑时间这类基础元数据,不含正文内容。 - 需要结构化数据的话,选SQL dumps分类下的
page.sql.gz,这里面有标题、页面ID、创建时间、最后编辑者、最后编辑时间等更详细的结构化信息。
- 偏好文本格式的话,找名称带
- 分类信息:SQL dumps里的
categorylinks.sql.gz,记录了页面与分类的关联关系,可直接获取每个页面所属的分类。 - 浏览量数据:SQL dumps下的
pageview.sql.gz(部分版本命名为page_stats.sql.gz)包含页面浏览统计数据,不过部分历史dump的浏览量数据仅保留近期统计,解压后可确认具体字段。
另外,页面中的stub-meta-history相关文件(比如enwiki-20221201-stub-meta-history.xml.gz)也包含编辑历史元数据,同样不含完整内容,适合需要追踪编辑记录的场景。
内容的提问来源于stack exchange,提问作者Jabrove
相关产品推荐
相关产品推荐

