You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

使用Scrapy Shell爬取cineb.art电影标题失败求助

解决Scrapy爬取电影标题无结果的问题

核心问题:CSS选择器语法错误

你当前使用的response.css("film-name").get()写法错误,film-name是元素的class属性值,CSS选择器中匹配class必须在值前添加.,同时需要明确提取文本内容:

正确的选择器写法

  1. 精准匹配<h3 class="film-name">标签并提取文本:
response.css('h3.film-name::text').get()
  1. 若无需限制标签,仅匹配所有带film-name类的元素:
response.css('.film-name::text').get()
  1. 要获取页面所有电影标题(而非单个),替换get()为getall():
response.css('h3.film-name::text').getall()

额外排查点:页面动态渲染

如果修正选择器后仍无结果,需检查页面内容是否由JavaScript动态生成:

  • 在Scrapy Shell中执行view(response),若打开的页面看不到电影标题,说明内容是JS异步加载的
  • 这种情况需要结合Selenium、Playwright等工具,先渲染完整页面再进行内容提取

内容的提问来源于stack exchange,提问作者CypherTretii

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.14 01:55:17