网页爬取时如何忽略换行与空白文本节点？

可以直接通过XPath表达式结合normalize-space()函数实现，不需要事后清理数据。rvest基于xml2，原生支持XPath，能在节点选择阶段就过滤掉仅含空白、换行的无效节点。

场景1：选择包含有效文本的元素节点 #

如果目标是选中那些自身（或后代）包含非空白文本的元素节点，比如排除空的<p>、<span>等标签：

library(rvest)
library(xml2)

# 示例HTML
sample_html <- read_html('
<div>
  <p>  </p>
  <p>Hello World</p>
  <p>
    Some text with line breaks
  </p>
  <span></span>
  <span>  Valid text  </span>
</div>
')

# 选择所有包含非空白文本的元素节点
valid_elements <- sample_html %>% 
  html_nodes(xpath = "//*[normalize-space(.) != '']")

# 查看结果（提取文本时可trim）
valid_elements %>% html_text(trim = TRUE)

XPath逻辑：

• normalize-space(.)会将元素的所有文本内容（包括后代元素的文本）去除首尾空白、合并中间连续空白（换行、制表符都算），如果结果非空，说明该元素包含有效文本。

如果只想针对直接子文本节点有效（不考虑子元素的文本），把.换成text()即可：

html_nodes(xpath = "//*[normalize-space(text()) != '']")

场景2：直接过滤掉纯空白的文本节点 #

如果目标是仅保留有意义的文本节点（排除那些只有换行、空白的文本节点）：

# 选中所有非空白的文本节点
valid_text_nodes <- sample_html %>% 
  html_nodes(xpath = "//text()[normalize-space() != '']")

# 提取文本
valid_text_nodes %>% html_text(trim = TRUE)

XPath逻辑：

• //text()选中所有文本节点，normalize-space() != ''过滤掉处理后为空的节点（即原节点仅含空白/换行）。

针对特定标签过滤 #

如果只需要处理特定标签（比如仅选中有效文本的<p>标签），修改XPath前缀即可：

sample_html %>% html_nodes(xpath = "//p[normalize-space(.) != '']")

内容的提问来源于stack exchange，提问作者dufei