如何使用CSS选择器或Xpath提取eksisozluk站点完整评论内容
问题原因
你当前使用的li .content ::text会选中评论容器下所有层级的独立文本节点,遍历输出时自然会把内嵌锚点标签里的文本拆分为独立字段。
解决方法
可以先选中每条评论的.content容器,再统一提取容器内的所有文本并拼接,有两种常用实现方案:
方案1:使用XPath的string()函数直接提取完整文本
def parse(self, response): data = {} # 提取标题 title = response.css('[itemprop="name"]::text').get().strip() data["title"] = title # 提取所有完整评论 content_list = response.xpath('//li//*[@class="content"]') for count, content in enumerate(content_list): # 提取当前容器内所有文本并自动拼接 full_text = content.xpath('string(.)').get().strip() data[f"content{count}"] = full_text yield data
方案2:CSS选择器配合getall()拼接文本
如果你更习惯用CSS选择器,可以选中容器下所有文本后自行拼接:
def parse(self, response): data = {} title = response.css('[itemprop="name"]::text').get().strip() data["title"] = title # 先选中所有评论容器 content_containers = response.css('li .content') for count, container in enumerate(content_containers): # 取出容器下所有文本节点后拼接,过滤多余空白字符 text_list = container.css('::text').getall() full_text = ''.join([t.strip() for t in text_list if t.strip()]) data[f"content{count}"] = full_text yield data
两种方案都可以直接拿到和页面显示完全一致的完整评论内容,不会再出现内容拆分的情况。
内容的提问来源于stack exchange,提问作者Ahsan Mehmood
相关产品推荐
相关产品推荐

