You need to enable JavaScript to run this app. ScrapyCrawlerProcess运行输入重复、start_requests缺response参数求助
优惠活动
大模型
产品
解决方案
定价
更多

ScrapyCrawlerProcess运行输入重复、start_requests缺response参数求助

问题根因

重复触发两次用户输入

你把用户交互、关键词收集、URL拼接的代码全部写在了Amazon_spiders类的顶层定义块中。Python解释器执行类定义语句时,会顺次跑完类内所有非方法定义的代码;而单文件脚本结合CrawlerProcess运行时,这个类会被加载两次:

  • 第一次是脚本作为主程序从上到下执行,碰到类定义语句时运行一遍类内代码,触发第一组输入提示
  • 第二次是CrawlerProcess内置的爬虫扫描器为了识别可用的Spider类,会把当前脚本作为普通模块重新导入,再次运行类内的定义代码,触发第二组输入提示

start_requests方法抛出TypeError

Scrapy框架对start_requests方法有固定的签名约定:这个方法仅接收self一个参数,在爬虫启动的最早期运行,此时还没有发出任何网络请求,根本不存在可传入的response对象。你给这个方法加了response形参,框架调用时只传递了self参数,自然会报缺参数的类型错误。
另外你覆写的start_requests逻辑完全冗余:Scrapy默认就会自动遍历start_urls列表生成初始爬取请求,不需要手动循环拼接请求。

修复步骤

  • 把所有和用户交互、URL拼接相关的逻辑全部移出类定义块,放在类定义之前的脚本顶层运行,保证这些逻辑只执行一次,不会因为模块重复加载触发多次输入。
  • 修正start_requests的方法签名,删掉多余的response形参;如果不需要自定义请求配置(比如加请求头、Cookie),甚至可以直接删掉这个覆写方法,用Scrapy默认的启动逻辑即可。

修复后的参考代码:

import time
import scrapy
from scrapy import Request
# 交互逻辑全部放在类定义外部,仅执行一次
search_keywords = []
search_count = int(input('Enter the number of times to search \n'))
for _ in range(search_count):
    current_word = input("Enter one sentence to be searched  \n").strip()
    search_keywords.append(current_word)
# 提前拼接所有搜索URL,合并冗余的字符串处理逻辑
start_urls = [
    f'https://www.amazon.com/s?k={word.replace(" ", "+")}&ref=nb_sb_noss'
    for word in search_keywords
]
class Amazon_spiders(scrapy.Spider):
    name = "amazon"
    start_time = time.time()
    parse_number = 0
    start_urls = start_urls
    # 按框架要求的正确签名覆写start_requests
    def start_requests(self):
        for url in self.start_urls:
            print(f"Current page {url}")
            # 可在此处补充自定义请求头、请求元数据
            yield Request(url=url, callback=self.parse_url)
    def parse_url(self, response):
        # 在此处编写商品列表页的解析逻辑
        pass

内容的提问来源于stack exchange,提问作者Ahmed Ellaban

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.27 21:06:07