You need to enable JavaScript to run this app. Scrapy可正常完成爬取,但链接提取器未按预期工作,仅能提取URL首个字符
优惠活动
大模型
产品
解决方案
定价
更多

Scrapy可正常完成爬取,但链接提取器未按预期工作,仅能提取URL首个字符

Scrapy 爬取链接逐字符异常与选择器空值问题修复

核心根因

1. 单字符URL的bug本质

你输出里出现的/wiki/t、/wiki/r这类无效链接,根源是链接遍历的逻辑完全没有触发Scrapy的DOM解析流程:

原代码片段:

for href in (r"tr[style='background:#FAEB86'] a[href*='film)']::attr(href)"):

这里括号内包裹的就是一段普通的CSS规则字符串,Python会把字符串当成可迭代对象,逐字符拆分遍历。也就是说你循环的根本不是页面上找到的链接,是这段选择器文本本身的每个字符——每个字符被拿出来和域名拼接,自然就生成了单字符后缀的无效URL。

正确的写法必须把这段CSS规则传入response.css()方法,让Scrapy真正去匹配页面DOM元素,拿到结果集之后再遍历,之前的写法相当于把选择器当文本读了,完全跳过了元素匹配环节。

2. 详情页提取空值的问题

parse_titles方法存在两个逻辑缺陷:

  • 冗余嵌套:for sel in response.css('html').extract(): 这行代码执行后会返回一个长度为1的列表,列表内容是整个页面的HTML字符串,循环这个字符串列表没有任何实际作用,直接删除即可。
  • 选择器适配问题:硬绑定h1[id='firstHeading'] i::text的规则,会在Wikipedia页面没有用标签包裹标题的场景下直接返回空列表,需要增加兜底取值逻辑适配不同页面结构。

另外注意:在Scrapy回调方法里硬写time.sleep()会阻塞异步事件循环,大幅降低爬取效率,随机延迟的需求完全可以通过项目配置里的下载延迟参数实现,不需要手动加阻塞延时。

修复后的可运行代码

import scrapy

USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"

class OscarsSpider(scrapy.Spider):
    name = "oscars5"
    allowed_domains = ["en.wikipedia.org"]
    start_urls = ["https://en.wikipedia.org/wiki/Academy_Award_for_Best_Picture"]

    def parse(self, response):
        # 调用css方法完成DOM匹配,获取全部符合规则的链接集合
        matched_links = response.css(r"tr[style='background:#FAEB86'] a[href*='film)']::attr(href)").getall()
        for href in matched_links:
            full_url = response.urljoin(href)
            self.logger.info(f"发起请求:{full_url}")
            yield scrapy.Request(full_url, callback=self.parse_titles)

    def parse_titles(self, response):
        data = {}
        # 增加标题兜底逻辑,避免单标签绑定导致空值
        data['title'] = response.css(r"h1[id='firstHeading'] i::text").get() or response.css(r"h1[id='firstHeading']::text").strip().get()
        data['director'] = response.css(r"tr:contains('Directed by') a[href*='/wiki/']::text").getall()
        data['starring'] = response.css(r"tr:contains('Starring') a[href*='/wiki/']::text").getall()
        data['releasedate'] = response.css(r"tr:contains('Release date') li::text").getall()
        data['runtime'] = response.css(r"tr:contains('Running time') td::text").get()
        yield data

验证标准

修复后重新运行爬虫会达到以下预期:

  • 链接环节生成的URL都是/wiki/xxx_(film)格式的完整有效地址,不再出现单字符拼接的错误链接
  • 详情页提取的标题字段不再返回空列表,所有抓取的元数据会正常写入输出文件
  • 去掉手动阻塞延时后,Scrapy异步调度的效率会有明显提升

内容的提问来源于stack exchange,提问作者David Wooley - AST

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 22:36:04