Scrapy爬取Coop商品时如何正确提取span内外混合文本

原有实现的核心问题 #

当前代码通过对CSS选择器拿到的原始HTML字符串做硬匹配替换完成提取，本质是字符串层面的处理，存在两个硬伤：

• 逻辑冗余：需要逐一枚举已知的HTML标签片段做替换，一旦页面标签结构微调、类名属性变化、新增嵌套标签，替换逻辑就会失效
• 文本整合能力弱：无法自动把同一容器内分散在不同子标签（如<span>、<br>）里的文本拼接成完整内容，容易出现内容断裂、标签残留的问题

最优实现思路 #

完全不需要手动替换HTML标签，利用Scrapy Selector本身的DOM树解析能力提取纯文本即可，核心逻辑是：直接定位目标容器节点，提取节点下所有层级的纯文本内容，自动整合分散在子标签里的文本，最后做空白清理得到最终值。

可直接替换的代码片段 #

原有针对Info的一长串字符串替换逻辑，可以全部替换为以下代码：

# 定位商品描述节点
info_node = item.css("p.ItemTeaser-description")
if not info_node:
    Info = None
else:
    # 提取该节点下所有层级的纯文本，过滤空内容
    text_segments = info_node.css("::text").getall()
    Info = " ".join(seg.strip() for seg in text_segments if seg.strip())

关键说明 #

• 先定位到目标p节点，再对节点对象调用::text提取文本，会自动遍历该节点下所有层级的DOM内容，把所有子标签（包括嵌套的span、br、div）里的纯文本全部取出，完全忽略中间的HTML标签，不会出现标签残留
• 提取过程会自动过滤掉<br>标签、节点换行带来的空文本片段，不需要手动替换各类HTML字符串
• 对每个提取到的文本片段做去前后空白、过滤空值的处理，最后用单空格拼接，自动整合不同子标签里的分散文本，不会出现span内外内容断裂的问题
• 增加了节点存在性判断，避免目标节点缺失时调用字符串方法抛出属性错误
  特别注意：Scrapy CSS选择器对文本提取的空格规则需要留意：如果选择器写为"p.ItemTeaser-description::text"（无空格），只会提取p标签自身直接包含的文本，漏掉子span标签里的品牌名内容；而先定位到p节点再对节点对象调用"::text"，等价于带空格的选择器写法"p.ItemTeaser-description ::text"，可以完整抓取所有嵌套层级的文本内容。

内容的提问来源于stack exchange，提问作者Yaxum Cedeno