Scrapy可正常完成爬取,但链接提取器未按预期工作,仅能提取URL首个字符
Scrapy 爬取链接逐字符异常与选择器空值问题修复
核心根因
1. 单字符URL的bug本质
你输出里出现的/wiki/t、/wiki/r这类无效链接,根源是链接遍历的逻辑完全没有触发Scrapy的DOM解析流程:
原代码片段:
for href in (r"tr[style='background:#FAEB86'] a[href*='film)']::attr(href)"):这里括号内包裹的就是一段普通的CSS规则字符串,Python会把字符串当成可迭代对象,逐字符拆分遍历。也就是说你循环的根本不是页面上找到的链接,是这段选择器文本本身的每个字符——每个字符被拿出来和域名拼接,自然就生成了单字符后缀的无效URL。
正确的写法必须把这段CSS规则传入response.css()方法,让Scrapy真正去匹配页面DOM元素,拿到结果集之后再遍历,之前的写法相当于把选择器当文本读了,完全跳过了元素匹配环节。
2. 详情页提取空值的问题
parse_titles方法存在两个逻辑缺陷:
- 冗余嵌套:
for sel in response.css('html').extract():这行代码执行后会返回一个长度为1的列表,列表内容是整个页面的HTML字符串,循环这个字符串列表没有任何实际作用,直接删除即可。 - 选择器适配问题:硬绑定
h1[id='firstHeading'] i::text的规则,会在Wikipedia页面没有用标签包裹标题的场景下直接返回空列表,需要增加兜底取值逻辑适配不同页面结构。
另外注意:在Scrapy回调方法里硬写time.sleep()会阻塞异步事件循环,大幅降低爬取效率,随机延迟的需求完全可以通过项目配置里的下载延迟参数实现,不需要手动加阻塞延时。
修复后的可运行代码
import scrapy USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" class OscarsSpider(scrapy.Spider): name = "oscars5" allowed_domains = ["en.wikipedia.org"] start_urls = ["https://en.wikipedia.org/wiki/Academy_Award_for_Best_Picture"] def parse(self, response): # 调用css方法完成DOM匹配,获取全部符合规则的链接集合 matched_links = response.css(r"tr[style='background:#FAEB86'] a[href*='film)']::attr(href)").getall() for href in matched_links: full_url = response.urljoin(href) self.logger.info(f"发起请求:{full_url}") yield scrapy.Request(full_url, callback=self.parse_titles) def parse_titles(self, response): data = {} # 增加标题兜底逻辑,避免单标签绑定导致空值 data['title'] = response.css(r"h1[id='firstHeading'] i::text").get() or response.css(r"h1[id='firstHeading']::text").strip().get() data['director'] = response.css(r"tr:contains('Directed by') a[href*='/wiki/']::text").getall() data['starring'] = response.css(r"tr:contains('Starring') a[href*='/wiki/']::text").getall() data['releasedate'] = response.css(r"tr:contains('Release date') li::text").getall() data['runtime'] = response.css(r"tr:contains('Running time') td::text").get() yield data
验证标准
修复后重新运行爬虫会达到以下预期:
- 链接环节生成的URL都是
/wiki/xxx_(film)格式的完整有效地址,不再出现单字符拼接的错误链接 - 详情页提取的标题字段不再返回空列表,所有抓取的元数据会正常写入输出文件
- 去掉手动阻塞延时后,Scrapy异步调度的效率会有明显提升
内容的提问来源于stack exchange,提问作者David Wooley - AST
相关产品推荐
相关产品推荐

