You need to enable JavaScript to run this app. Python爬虫:BeautifulSoup调用find_all触发ResultSet报错,需提取所有目标div段落
优惠活动
大模型
产品
解决方案
定价
更多

Python爬虫:BeautifulSoup调用find_all触发ResultSet报错,需提取所有目标div段落

爬虫报错问题与调整方案

现有代码流程与报错表现

开发的Python网页爬虫目标是从Wikisource主站爬取用户选定的电子书内容,前期流程(获取最新上架电子书列表、引导用户选择书籍、拼接书籍详情页请求链接)均可正常运行,执行到提取正文环节触发如下报错:

Traceback (most recent call last):
File "homework.py", line 32, in
List1 = Soup1.find_all("div", class_="prp-pages-output").find_all('p')
File "C:\Users\Özdal\AppData\Local\Programs\Python\Python38-32\lib\site-packages\bs4\element.py", line 2173, in getattr
raise AttributeError(
AttributeError: ResultSet对象不存在'find_all'属性,你可能将元素列表当作单个元素处理了,是否应当使用find()而非find_all()?

如果直接把代码里的find_all改成find,仅能获取页面中第一个class="prp-pages-output"的div下的段落内容,无法覆盖所有符合条件的div内的正文。

报错核心原因

BeautifulSoup的find_all()方法返回的是ResultSet类型的元素列表,并非单个可继续执行链式查找的页面节点,列表本身没有find_all()方法,直接在返回结果后链式调用就会触发上述属性错误。

代码调整实现方案

不需要修改查找逻辑为find(),只要对find_all()返回的节点列表做遍历,逐个提取每个节点下的p标签,就能把所有匹配div的段落全部汇总:

  1. 拆分原有的链式查找逻辑,先获取所有目标div的列表
  2. 遍历每个div节点,提取其内部的p标签,把所有段落追加到同一个总列表中
  3. 优化文本写入逻辑,提取段落纯文本而非直接存HTML标签对象

关键调整代码片段:

# 原报错行替换为以下逻辑
# 获取所有class为prp-pages-output的div节点列表
all_content_divs = Soup1.find_all("div", class_="prp-pages-output")
all_paragraphs = []
for div in all_content_divs:
    # 提取当前div下的所有p标签,追加到总段落列表
    p_tags = div.find_all("p")
    all_paragraphs.extend(p_tags)

# 提取所有段落的纯文本,跳过空内容
ebook_content = "\n\n".join(
    [p.get_text(strip=True) for p in all_paragraphs if p.get_text(strip=True)]
)

# 用上下文管理器写入文件,自动释放文件句柄
with open("ebook1.txt", "w", encoding="utf-8") as ebook_file:
    ebook_file.write(ebook_content)

其他优化提示

  • 原有筛选电子书标题的逻辑(标题中出现冒号就将标题置空)会误筛掉Wikisource大量带“作者: 书名”格式的正常标题,如果后续出现书籍列表不全的问题,可以调整该段逻辑
  • 原有代码中未使用的uReq导入可以删除,减少冗余依赖

内容的提问来源于stack exchange,提问作者MUSTAFA ÖZDAL

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.10 21:24:02