You need to enable JavaScript to run this app. Python Beautiful Soup如何仅在文本匹配指定内容时执行爬取?
优惠活动
大模型
产品
解决方案
定价
更多

Python Beautiful Soup如何仅在文本匹配指定内容时执行爬取?

问题根源
  • 之前匹配不到文本、触发NoneType报错的核心原因:Beautiful Soup的find(text="指定值")是节点文本完全等值匹配,不支持模糊的关键词包含判断
    • 只要目标文本前后带换行、多余空格,或者文本被拆分到多个子标签中,哪怕页面里确实存在"United"字样,精准匹配也会直接返回None
    • 对这个None结果调用.findNext()方法,自然抛出AttributeError: 'NoneType' object has no attribute 'findNext'
  • 你现在写的遍历逻辑本身是合理的:trainer.find_all('div', class_='media-body')拿到的每一个box,就是单条用户的完整信息容器,完全不需要跨容器、跨节点检索内容,这也是最不容易出错的实现路径。
正确实现步骤
  1. 遍历每个用户条目时,先拼接当前条目的所有文本,清洗掉多余空白,再判断是否包含目标国家关键词,不匹配的直接跳过,不做后续处理
  2. 匹配到符合条件的条目后,直接在当前box容器内查找带TCLink类的元素提取好友码,不依赖DOM节点的相对位置(比如不依赖findNext这类相对定位的方法,避免页面结构小改动就失效)
  3. 后续要换匹配关键词(比如换成新西兰),只需要改一个变量值就行,不需要调整核心逻辑
可直接运行的代码示例
from bs4 import BeautifulSoup
import requests

# 目标匹配关键词,后续要抓取新西兰用户就改成"New Zealand"
target_country = "United States"

source = requests.get('https://pogotrainer.club/?sort=worldwide').text
soup = BeautifulSoup(source, 'lxml')

trainer = soup.find('article')
for box in trainer.find_all('div', class_='media-body'):
    # 提取当前条目的完整文本,自动去除首尾空白、把文本之间的分隔替换成单个空格
    full_box_text = box.get_text(strip=True, separator=" ")
    # 关键词不匹配直接跳过
    if target_country not in full_box_text:
        continue
    # 匹配成功,提取好友码
    friend_code = box.find(class_="TCLink").text.strip()
    print(f"匹配到目标用户:{full_box_text},好友码:{friend_code}")

    # 后续追加写入文件的逻辑,打开模式用"a"就是追加,不会覆盖已有内容
    with open("target_trainers.txt", "a", encoding="utf-8") as f:
        f.write(f"{friend_code}\n")
补充说明
  • 如果你确实需要在全页面范围模糊匹配文本,不能用字符串精准匹配,要配合正则表达式实现,比如:
    import re
    # 查找页面里所有文本包含"United States"的节点
    matched_text_nodes = soup.find_all(text=re.compile("United States"))
    
  • 不推荐依赖findNext这类相对位置的节点查找方法:这类方法对DOM结构的顺序依赖极强,只要页面调整了元素的先后排布,就很容易抓错内容,远不如在明确的用户信息容器范围内查找目标元素稳定。
  • 后续追加写文件的逻辑只要用open(..., "a")的追加模式就可以,不会覆盖之前已经保存的抓取结果,每次运行脚本会把新匹配到的内容加到文件末尾。

内容的提问来源于stack exchange,提问作者Emil

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 23:15:01