Python爬虫:BeautifulSoup调用find_all触发ResultSet报错,需提取所有目标div段落
现有代码流程与报错表现
开发的Python网页爬虫目标是从Wikisource主站爬取用户选定的电子书内容,前期流程(获取最新上架电子书列表、引导用户选择书籍、拼接书籍详情页请求链接)均可正常运行,执行到提取正文环节触发如下报错:
Traceback (most recent call last):
File "homework.py", line 32, in
List1 = Soup1.find_all("div", class_="prp-pages-output").find_all('p')
File "C:\Users\Özdal\AppData\Local\Programs\Python\Python38-32\lib\site-packages\bs4\element.py", line 2173, in getattr
raise AttributeError(
AttributeError: ResultSet对象不存在'find_all'属性,你可能将元素列表当作单个元素处理了,是否应当使用find()而非find_all()?
如果直接把代码里的find_all改成find,仅能获取页面中第一个class="prp-pages-output"的div下的段落内容,无法覆盖所有符合条件的div内的正文。
报错核心原因
BeautifulSoup的find_all()方法返回的是ResultSet类型的元素列表,并非单个可继续执行链式查找的页面节点,列表本身没有find_all()方法,直接在返回结果后链式调用就会触发上述属性错误。
代码调整实现方案
不需要修改查找逻辑为find(),只要对find_all()返回的节点列表做遍历,逐个提取每个节点下的p标签,就能把所有匹配div的段落全部汇总:
- 拆分原有的链式查找逻辑,先获取所有目标div的列表
- 遍历每个div节点,提取其内部的p标签,把所有段落追加到同一个总列表中
- 优化文本写入逻辑,提取段落纯文本而非直接存HTML标签对象
关键调整代码片段:
# 原报错行替换为以下逻辑 # 获取所有class为prp-pages-output的div节点列表 all_content_divs = Soup1.find_all("div", class_="prp-pages-output") all_paragraphs = [] for div in all_content_divs: # 提取当前div下的所有p标签,追加到总段落列表 p_tags = div.find_all("p") all_paragraphs.extend(p_tags) # 提取所有段落的纯文本,跳过空内容 ebook_content = "\n\n".join( [p.get_text(strip=True) for p in all_paragraphs if p.get_text(strip=True)] ) # 用上下文管理器写入文件,自动释放文件句柄 with open("ebook1.txt", "w", encoding="utf-8") as ebook_file: ebook_file.write(ebook_content)
其他优化提示
- 原有筛选电子书标题的逻辑(标题中出现冒号就将标题置空)会误筛掉Wikisource大量带“作者: 书名”格式的正常标题,如果后续出现书籍列表不全的问题,可以调整该段逻辑
- 原有代码中未使用的
uReq导入可以删除,减少冗余依赖
内容的提问来源于stack exchange,提问作者MUSTAFA ÖZDAL

