如何用R在线抓取复杂表格？Springer补充表格8抓取求助

方案1：pdftools 文本解析+手动整理 #

适合纯文本类PDF，通过提取文本后根据表格结构做字符串处理：

1. 安装依赖包并加载：

install.packages(c("pdftools", "stringr", "readr", "tibble"))
library(pdftools)
library(stringr)
library(readr)
library(tibble)

2. 下载并提取目标页面文本：

pdf_url <- "https://static-content.springer.com/esm/art%3A10.1038%2Fnplants.2016.167/MediaObjects/41477_2016_BFnplants2016167_MOESM277_ESM.pdf"
page_text <- pdf_text(pdf_url)[26] # 定位第26页

3. 清洗文本并拆分行：

text_lines <- str_split(page_text, "\n")[[1]]
text_lines <- text_lines[str_trim(text_lines) != ""] # 过滤空行

4. 按表格结构提取数据：
   观察Supplementary Table 8的列分隔特征（比如固定宽度），用固定宽度读取：

# 先查看每行字符长度，确定列宽
sapply(text_lines, nchar)
# 替换为实际测量的列宽度
table_df <- read_fwf(I(text_lines), fwf_widths(c(16, 22, 14, 20)))

方案2：tabulizer 专业表格提取（需Java环境） #

对带合并单元格的复杂表格支持更好，直接识别表格结构：

1. 安装包并加载：

install.packages("tabulizer")
library(tabulizer)

2. 提取目标页面表格：

tables <- extract_tables(pdf_url, pages = 26) # 提取第26页所有表格
table_df <- as_tibble(tables[[1]]) # 假设目标表格为列表第一个元素

3. 修复表头与合并单元格：

colnames(table_df) <- table_df[1,] # 用第一行做列名
table_df <- table_df[-1,] # 删除原表头行
# 手动补全合并单元格的内容（根据表格实际结构调整）

方案3：OCR识别（针对扫描版PDF） #

如果PDF是扫描生成的图片格式，需要OCR转文本后再处理：

install.packages("tesseract")
library(tesseract)
# 把页面转成图片
page_img <- pdf_convert(pdf_url, pages = 26, format = "png")
# OCR识别文本
ocr_text <- ocr(page_img)
# 后续按方案1的步骤整理表格

关键注意事项 #

• 复杂表格大概率需要手动调整列宽、补全合并单元格内容，建议先打印提取的文本/表格预览结构
• tabulizer 需要Java 8及以上环境，安装失败时检查本地Java配置
• 若文本提取乱码，尝试指定编码：pdf_text(pdf_url, encoding = "UTF-8")

内容的提问来源于stack exchange，提问作者LDT