如何使用R语言从维基百科提取各类表格及处理抽取无序问题
原代码失效的核心原因
- 通用HTML表格解析工具
readHTMLTable会抓取页面上所有表格元素,包括维基页面内置的导航栏、侧边栏、列宽占位的隐藏表格,通过datos[[2]]这类固定索引取数,根本无法定位到目标首相信息表 - 工具默认的表头、内容识别逻辑,会将维基表格里跨列、跨行的合并单元格拆解为错位空值,原表的层级分组关系丢失,最终得到的数据会看起来毫无顺序
优化后可直接运行的提取逻辑
用CSS选择器精准定位维基正式内容表格,避开所有非目标杂表:
library(rvest) # 加载目标维基页面 page <- read_html("https://en.wikipedia.org/wiki/List_of_prime_ministers_of_Spain") # 筛选所有带`wikitable`类的表格——这是维基百科正式数据表格的统一标识 target_tables <- page %>% html_elements("table.wikitable") %>% html_table() # 此时target_tables列表内无导航、占位类杂表 # 取列表内第一份表格即可获得西班牙首相任期主表 prime_minister_table <- target_tables[[1]]
后续数据清洗要点
- 提取后先打印表格前3行校验字段,不要依赖固定索引:页面内容更新后表格顺序可能变动,但
wikitable类的筛选逻辑不受影响 - 对合并单元格产生的空值,可通过向下填充还原原表的分组顺序:
library(tidyr) clean_table <- prime_minister_table %>% fill(where(~ is.character(.x)), .direction = "down")
内容的提问来源于stack exchange,提问作者Ojo Topacio
相关产品推荐
相关产品推荐

