网页爬虫爬取第3页失败：'NoneType' object has no attribute 'find_all'

核心问题 #

报错'NoneType' object has no attribute 'find_all'的本质是你代码中的divContainer变量为None——也就是说，在第三页的HTML中，你用来定位目标容器的选择器没有找到对应的元素。

可能的具体原因 #

• 第三页请求失败：
  代码请求第三页时，可能返回了非200的状态码（比如404、500），或者被网站临时限制（尽管这个沙盒站概率极低），导致解析的HTML不是正常内容，自然找不到目标容器。
• URL生成错误：
  自动跳转下一页的逻辑可能生成了错误的第三页URL。比如正确的第三页URL是https://quotes.toscrape.com/page/3/，如果代码拼接成https://quotes.toscrape.com/page3或者漏掉末尾的斜杠，就会返回404页面，无法解析到目标元素。
• 容器选择器失效：
  虽然你认为页面结构无变化，但可能第三页的目标容器有细微差异——比如class名多了空格、拼写变化，或者标签层级调整。比如你用find("div", class_="quote-container")定位，但第三页的容器class变成了quote-container extra，就会导致找不到。

调试步骤 #

1. 手动访问https://quotes.toscrape.com/page/3/，确认页面能正常打开，且结构和前两页一致。
2. 在代码中添加调试：请求第三页后，打印response.status_code，如果不是200，说明请求存在问题。
3. 打印第三页的响应文本，搜索你要定位的容器元素，确认是否存在。
4. 检查自动跳转下一页的逻辑：比如获取下一页链接的代码是否正确，确保生成的第三页URL符合网站格式。

内容的提问来源于stack exchange，提问作者caasi