Scrapy爬取遇500内部服务器错误终止，设handle_httpstatus_all仍无效

你遇到的日志是Scrapy重试中间件的默认行为：即便设置了handle_httpstatus_all=True，重试中间件仍会对500这类服务器错误进行多次重试，直到达到预设次数后才会将响应传递给parse函数。以下是具体解决办法：

1. 调整重试策略 #

• 减少重试次数：在settings.py中修改RETRY_TIMES，比如设置为0直接跳过重试：

  RETRY_TIMES = 0
  

• 排除500错误的重试：配置RETRY_HTTP_CODES，将500从需要重试的状态码列表中移除，这样遇到500时直接交给parse处理：

  RETRY_HTTP_CODES = [502, 503, 504, 408]  # 只重试这些状态码，排除500
  

2. 全局启用非200响应处理 #

不用在每个Request的meta中单独设置，直接在settings.py里全局配置：

HTTPERROR_ALLOW_ALL = True

这样所有请求都会允许非200状态码的响应进入parse函数。

3. 确认参数配置正确性 #

检查Request的meta参数是否拼写正确，比如handle_httpstatus_all有没有写错，引号是否为英文引号：

scrapy.Request(
    url='https://www.something.net',
    meta={
        "handle_httpstatus_all": True,
        "item": item
    },
    callback=self.parse
)

4. 优化500响应的处理逻辑 #

在parse函数中明确处理500的情况，避免遗漏：

def parse(self, response):
    item = response.meta['item']
    if response.status == 200:
        # 正常处理逻辑
        yield item
    elif response.status == 500:
        # 记录错误或放弃该item
        self.logger.error(f"500 Error for URL: {response.url}")
        # 可选：根据需求决定是否yield item或丢弃

5. 排查服务器或反爬因素 #

500错误可能是服务器临时故障，也可能是请求触发了反爬机制：

• 添加真实的User-Agent请求头，模拟浏览器请求
• 增加请求延迟，避免频繁请求触发服务器限制：

  DOWNLOAD_DELAY = 2
  

内容的提问来源于stack exchange，提问作者Manuel Perez Heredia