Scrapy中如何通过XPath避免提取iframe标签内的文本？

你的XPath直接筛选文本节点的方式存在逻辑漏洞，导致iframe内的文本仍被提取。可以通过两种更可靠的写法解决：

方法一：先排除目标标签再提取文本 #

先选取entry-content下所有不属于script、noscript、style、figure、iframe的子节点，再从这些节点中提取文本，彻底避开排除标签的内容：

loader.add_value('article_content', response.xpath(
    "//div[@class='entry-content']//*[not(self::script or self::noscript or self::style or self::figure or self::iframe)]//text()"
).extract())

方法二：精准排除带有指定祖先的文本节点 #

优化XPath的祖先节点判断，只排除那些父级链中包含iframe等标签的文本节点：

loader.add_value('article_content', response.xpath(
    "//div[@class='entry-content']/descendant::text()[not(ancestor::script or ancestor::noscript or ancestor::style or ancestor::figure or ancestor::iframe)]"
).extract())

额外说明 #

如果提取到的是iframe加载的外部页面内容，那是因为Scrapy自动跟进了iframe的请求。这种情况下需要在爬虫中过滤这类请求，比如在parse方法中不处理iframe对应的response，或者在请求阶段排除iframe的URL。

内容的提问来源于stack exchange，提问作者martia road