如何使用Scrapy提取<td>标签内<div>之后的目标文本？

嘿，这个问题我之前也碰到过！原因是你用的td.xyz::text只能抓取<td>元素的直接子文本节点，而你的目标文本虽然在<td>里，但和<div>是同级的节点，所以默认只会抓到<div>前后的空白字符，自然返回空字符串啦。

下面给你几种可行的解决方案：

方法一：用XPath的string()提取整元素文本再清理 #

这个方法会把<td>下的所有文本（包括<div>里的）都提取出来，之后你可以通过字符串操作去掉无关内容：

# 提取td内的所有文本
full_text = response.css('td.xyz').xpath('string(.)').get()
# 移除无关文本并清理空白
target_text = full_text.replace('Irrelevant', '').strip()

方法二：筛选所有文本节点并过滤空白 #

直接抓取<td>下的所有文本节点，然后过滤掉空字符串和多余空白，剩下的就是目标文本：

# 获取所有文本节点
text_nodes = response.css('td.xyz::text').getall()
# 过滤掉空白内容，取有效文本
target_text = [text.strip() for text in text_nodes if text.strip()][0]

方法三：用XPath精准定位目标文本节点 #

直接用XPath选取<td>下非子元素的、非空白的文本节点，一步到位：

target_text = response.xpath('//td[@class="xyz"]/text()[normalize-space()]').get().strip()

这几种方法都能帮你拿到想要的"I want to get this text!"，你可以根据自己的需求选最合适的~

内容的提问来源于stack exchange，提问作者pmax1