You need to enable JavaScript to run this app. 如何解决Scrapy爬虫无报错却未生成爬取书籍标题的本地结果文件问题
优惠活动
大模型
产品
解决方案
定价
更多

如何解决Scrapy爬虫无报错却未生成爬取书籍标题的本地结果文件问题

故障定位与修复

核心触发问题

  • 方法名不符合Scrapy框架调用规则:Scrapy默认会自动执行Spider类下名为start_requests(复数形式,带末尾s)的方法生成初始爬取请求。你代码中定义的是无s的start_request方法,框架完全不会识别、调用这个自定义方法,导致整个爬虫从启动到结束没有发起任何网络请求,后续的解析、写文件逻辑全程没有执行,自然不会生成目标文件,也不会抛出任何报错。
  • 请求类属性大小写错误:Scrapy内置的请求构造类是scrapy.Request(首字母大写),你代码里写的小写开头scrapy.request,就算修正了方法名,这行代码也会触发属性不存在的运行错误。
  • XPath匹配路径失效:你当前使用的article[@class='product_pod']/h3/a/text()是从页面根节点的第一层元素开始匹配带product_pod类的article,实际页面中这类书籍卡片元素是嵌套在多层div节点下的,直接匹配会返回空列表,无法提取到任何书籍标题。
  • 文件名拼写不一致:代码中写入的文件名为book_titel.txt,如果你手动创建的是英语拼写的book_title.txt,会因为文件名不匹配,出现“手动建了文件但没内容”的错觉。

修正后可正常运行的代码

import scrapy

class My_spider(scrapy.Spider):
    name = "book_crawler"

    # 方法名补全末尾s,触发框架自动调用
    def start_requests(self):
        url_list=[]
        for i in range(2 , 5):
            url_list.append("https://books.toscrape.com/catalogue/page-" + str(i) + ".html")
        urls=[]
        urls.append("https://books.toscrape.com/")
        for i in range(0 , len(url_list)):
            urls.append(url_list[i])

        for url in urls:
            # 修正Request大小写
            yield scrapy.Request(url=url, callback=self.parse)
    
    def parse(self, response):
        # 修正XPath路径,全页面匹配目标元素;提取title属性获取完整书名
        title_list = response.xpath("//article[@class='product_pod']/h3/a/@title").extract()
        
        # 统一文件名拼写,指定utf-8编码避免乱码
        with open('book_title.txt', 'a+', encoding='utf-8') as f:
            for idx, title in enumerate(title_list):
                f.write(f"{idx} : {title}\n")

实操注意事项

  • 启动爬虫需要在Scrapy项目的根目录下执行scrapy crawl book_crawler,生成的txt文件会保存在当前命令行的执行路径下,而非代码文件所在的子目录。
  • 直接提取链接的text节点会获取到被截断的书名(长标题会被替换为省略号),通过@title属性提取可以拿到完整的书籍名称。

内容的提问来源于stack exchange,提问作者fatemeh zamanipour

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.10 21:54:02