如何解决Scrapy爬虫无报错却未生成爬取书籍标题的本地结果文件问题
故障定位与修复
核心触发问题
- 方法名不符合Scrapy框架调用规则:Scrapy默认会自动执行Spider类下名为
start_requests(复数形式,带末尾s)的方法生成初始爬取请求。你代码中定义的是无s的start_request方法,框架完全不会识别、调用这个自定义方法,导致整个爬虫从启动到结束没有发起任何网络请求,后续的解析、写文件逻辑全程没有执行,自然不会生成目标文件,也不会抛出任何报错。 - 请求类属性大小写错误:Scrapy内置的请求构造类是
scrapy.Request(首字母大写),你代码里写的小写开头scrapy.request,就算修正了方法名,这行代码也会触发属性不存在的运行错误。 - XPath匹配路径失效:你当前使用的
article[@class='product_pod']/h3/a/text()是从页面根节点的第一层元素开始匹配带product_pod类的article,实际页面中这类书籍卡片元素是嵌套在多层div节点下的,直接匹配会返回空列表,无法提取到任何书籍标题。 - 文件名拼写不一致:代码中写入的文件名为
book_titel.txt,如果你手动创建的是英语拼写的book_title.txt,会因为文件名不匹配,出现“手动建了文件但没内容”的错觉。
修正后可正常运行的代码
import scrapy class My_spider(scrapy.Spider): name = "book_crawler" # 方法名补全末尾s,触发框架自动调用 def start_requests(self): url_list=[] for i in range(2 , 5): url_list.append("https://books.toscrape.com/catalogue/page-" + str(i) + ".html") urls=[] urls.append("https://books.toscrape.com/") for i in range(0 , len(url_list)): urls.append(url_list[i]) for url in urls: # 修正Request大小写 yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): # 修正XPath路径,全页面匹配目标元素;提取title属性获取完整书名 title_list = response.xpath("//article[@class='product_pod']/h3/a/@title").extract() # 统一文件名拼写,指定utf-8编码避免乱码 with open('book_title.txt', 'a+', encoding='utf-8') as f: for idx, title in enumerate(title_list): f.write(f"{idx} : {title}\n")
实操注意事项
- 启动爬虫需要在Scrapy项目的根目录下执行
scrapy crawl book_crawler,生成的txt文件会保存在当前命令行的执行路径下,而非代码文件所在的子目录。 - 直接提取链接的text节点会获取到被截断的书名(长标题会被替换为省略号),通过
@title属性提取可以拿到完整的书籍名称。
内容的提问来源于stack exchange,提问作者fatemeh zamanipour
相关产品推荐
相关产品推荐

