Scrapy获取URL Last-Modified响应头的KeyError与年份越界错误求助
异常根因排查
第一类异常:KeyError: 'last-modified'
- 触发逻辑的核心原因有两个:
- 代码在Scrapy回调函数
fetch_dates中,没有使用Scrapy已经传入的response响应对象,反而手动通过requests.head重新发起一次请求。多数站点对HEAD方法的请求会做拦截,返回的响应头会过滤掉last-modified字段,甚至直接返回403状态,自然不存在对应键值。 - 代码直接通过中括号语法取响应头键值,没有判断字段是否存在。HTTP响应头虽然是大小写不敏感的存储结构,但不保证所有站点都会返回
last-modified字段(部分CDN、静态资源站点会用ETag代替该字段),直接取不存在的键就会抛出KeyError。
- 代码在Scrapy回调函数
- 连带导致无法生成CSV文件的原因:异常在取响应头那行就触发中断,整个回调函数直接终止,根本走不到后续写文件的代码分支;同时原代码存在逻辑错误,把
parsedate解析出的时间元组当成URL列表做无意义循环,就算不抛异常,写入的文件内容也是混乱错误的。
第二类异常:ValueError: year 1610477971 is out of range
- 触发原因:代码给
headers.get()设置的默认值是str(time.time()),也就是把10位精度的Unix时间戳转成字符串当默认值。但代码后续调用的parsedate是专门解析RFC 7231标准HTTP日期格式(如Wed, 21 Oct 2015 07:28:00 GMT)的方法,拿到纯数字的时间戳字符串后,会把字符串开头的数字识别为年份,直接触发年份超出范围的报错。
代码优化方案
完全贴合Scrapy框架的运行逻辑修正后,既可以避免重复请求被反爬,也能覆盖异常场景稳定生成CSV文件,核心优化点:
- 抛弃回调内手动发起
requests请求的写法,直接使用Scrapy传入的response对象取响应头,保证和爬虫实际拿到的响应内容一致。 - 替换不兼容的默认值逻辑,对响应头缺失、解析失败的场景做异常捕获,不要传入不符合解析规则的默认值。
- 用Python内置
csv模块替代手动拼接分隔符的写文件逻辑,避免格式混乱。 - 移除无意义的循环逻辑,按单条URL对应的信息逐行写入CSV。
修正后的参考代码:
import csv from email.utils import parsedate_to_datetime from scrapy import Item # 爬虫启动时初始化CSV文件、写入表头,避免重复判断文件是否存在 def open_spider(self): with open('1url-to-date.csv', 'w', newline='', encoding='utf-8') as f: writer = csv.writer(f) writer.writerow(['target_url', 'last_modified_date']) def fetch_dates(self, response): current_url = response.url # 直接从Scrapy响应对象取头,自动处理大小写不敏感的问题 raw_last_modified = response.headers.get('last-modified', b'').decode('utf-8').strip() # 分场景处理日期值,避免解析异常 if not raw_last_modified: date_value = "无last-modified响应头" else: try: # 使用兼容性更好的解析方法,替代老旧的parsedate date_value = parsedate_to_datetime(raw_last_modified).isoformat() except Exception: date_value = f"解析失败: 原始值{raw_last_modified}" # 单条追加写入CSV with open('1url-to-date.csv', 'a', newline='', encoding='utf-8') as f: writer = csv.writer(f) writer.writerow([current_url, date_value]) return Item()
内容的提问来源于stack exchange,提问作者MAb2021
相关产品推荐
相关产品推荐

