Python如何实现Freebase到Wikipedia的映射?
Freebase到Wikipedia映射的轻量化可行方案
- 采用预提取映射数据集:目前有公开的预处理完成的Freebase MID到Wikipedia页面ID/标题的对应表,无需自行处理全量Freebase Dump,这类数据集仅包含映射关联字段,体积普遍在数百MB级别,普通设备可直接加载使用。
- 借助Wikidata中转映射:Wikidata条目普遍同时绑定Freebase MID属性(属性ID P646)和对应Wikipedia页面关联属性,你可以仅下载Wikidata的关联属性子集而非全量Dump,也可使用本地轻量Wikidata离线查询服务完成映射,处理成本远低于全量Freebase Dump解析。
- 流式过滤全量Freebase Dump:如果确实需要覆盖全量Freebase的冷门条目映射,无需加载全量Dump到内存,可直接流式读取压缩格式的Dump文件,仅提取
/type/object/key、/common/topic/article两类和Wikipedia关联的字段,过滤所有无关内容后输出的最终映射表体积仅为原Dump的1%以下,普通设备即可完成处理。
映射操作中建议优先匹配Wikipedia的页面永久ID而非页面标题,可避免页面标题修改、重定向、消歧义页带来的映射失效问题。
内容的提问来源于stack exchange,提问作者Zimu Wang
相关产品推荐
相关产品推荐

