You need to enable JavaScript to run this app. Scrapy获取URL Last-Modified响应头的KeyError与年份越界错误求助
优惠活动
大模型
产品
解决方案
定价
更多

Scrapy获取URL Last-Modified响应头的KeyError与年份越界错误求助

异常根因排查

第一类异常:KeyError: 'last-modified'

  • 触发逻辑的核心原因有两个:
    • 代码在Scrapy回调函数fetch_dates中,没有使用Scrapy已经传入的response响应对象,反而手动通过requests.head重新发起一次请求。多数站点对HEAD方法的请求会做拦截,返回的响应头会过滤掉last-modified字段,甚至直接返回403状态,自然不存在对应键值。
    • 代码直接通过中括号语法取响应头键值,没有判断字段是否存在。HTTP响应头虽然是大小写不敏感的存储结构,但不保证所有站点都会返回last-modified字段(部分CDN、静态资源站点会用ETag代替该字段),直接取不存在的键就会抛出KeyError。
  • 连带导致无法生成CSV文件的原因:异常在取响应头那行就触发中断,整个回调函数直接终止,根本走不到后续写文件的代码分支;同时原代码存在逻辑错误,把parsedate解析出的时间元组当成URL列表做无意义循环,就算不抛异常,写入的文件内容也是混乱错误的。

第二类异常:ValueError: year 1610477971 is out of range

  • 触发原因:代码给headers.get()设置的默认值是str(time.time()),也就是把10位精度的Unix时间戳转成字符串当默认值。但代码后续调用的parsedate是专门解析RFC 7231标准HTTP日期格式(如Wed, 21 Oct 2015 07:28:00 GMT)的方法,拿到纯数字的时间戳字符串后,会把字符串开头的数字识别为年份,直接触发年份超出范围的报错。
代码优化方案

完全贴合Scrapy框架的运行逻辑修正后,既可以避免重复请求被反爬,也能覆盖异常场景稳定生成CSV文件,核心优化点:

  • 抛弃回调内手动发起requests请求的写法,直接使用Scrapy传入的response对象取响应头,保证和爬虫实际拿到的响应内容一致。
  • 替换不兼容的默认值逻辑,对响应头缺失、解析失败的场景做异常捕获,不要传入不符合解析规则的默认值。
  • 用Python内置csv模块替代手动拼接分隔符的写文件逻辑,避免格式混乱。
  • 移除无意义的循环逻辑,按单条URL对应的信息逐行写入CSV。

修正后的参考代码:

import csv
from email.utils import parsedate_to_datetime
from scrapy import Item

# 爬虫启动时初始化CSV文件、写入表头,避免重复判断文件是否存在
def open_spider(self):
    with open('1url-to-date.csv', 'w', newline='', encoding='utf-8') as f:
        writer = csv.writer(f)
        writer.writerow(['target_url', 'last_modified_date'])

def fetch_dates(self, response):
    current_url = response.url
    # 直接从Scrapy响应对象取头,自动处理大小写不敏感的问题
    raw_last_modified = response.headers.get('last-modified', b'').decode('utf-8').strip()
    
    # 分场景处理日期值,避免解析异常
    if not raw_last_modified:
        date_value = "无last-modified响应头"
    else:
        try:
            # 使用兼容性更好的解析方法,替代老旧的parsedate
            date_value = parsedate_to_datetime(raw_last_modified).isoformat()
        except Exception:
            date_value = f"解析失败: 原始值{raw_last_modified}"
    
    # 单条追加写入CSV
    with open('1url-to-date.csv', 'a', newline='', encoding='utf-8') as f:
        writer = csv.writer(f)
        writer.writerow([current_url, date_value])
    
    return Item()

内容的提问来源于stack exchange,提问作者MAb2021

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.09 15:24:04