Python爬虫用BeautifulSoup抓数据报NoneType无text属性问题求助

• 核心触发点是BeautifulSoup的find()方法在未匹配到符合条件的元素时，会返回None值，你直接对None调用text属性就会抛出该AttributeError。
• 同一页面下class="css-wn0avc"的span标签可以正常抓取，说明你遍历的所有内层页面都存在该类元素，但class="css-4xky9y"的元素不满足全量存在的条件，可能的场景包括：
  • 部分页面的薪资信息是前端JS动态渲染生成的，requests只能拿到初始静态HTML，此时还未生成对应元素
  • 不同页面的薪资字段类名存在差异，并非全部使用css-4xky9y作为类名
  • 部分岗位本身无公开薪资信息，页面没有渲染对应元素
  • 请求频率过高触发反爬机制，返回的是验证页面而非正常岗位详情页，自然找不到对应元素

1. 首先增加非空判断和请求合法性校验，避免直接访问不存在的属性，示例代码如下：

salary = []
for link in links:
    # 建议补充合法请求头降低反爬触发概率
    result = requests.get(link, headers=your_headers)
    # 先校验请求是否正常返回
    if result.status_code != 200:
        salary.append("请求异常")
        continue
    src = result.content
    soup = BeautifulSoup(src, "lxml")
    salaries = soup.find("span" ,{"class":"css-4xky9y"})
    # 匹配到元素再提取文本，否则填充默认值
    if salaries:
        salary.append(salaries.text.strip())
    else:
        # 可临时打印当前链接排查具体异常页面的结构
        # print(f"异常页面链接：{link}")
        salary.append("无公开薪资")

2. 如果排查后确认是动态渲染导致元素不存在，可换用Selenium、Playwright等支持JS渲染的工具加载页面后再提取元素。
3. 如果是类名不统一导致匹配失败，可改用父级节点特征、文本内容特征等更稳定的定位方式，不要完全依赖动态生成的hash类名。
4. 如果触发了反爬，可通过增加请求间隔、配置代理池、完善请求头信息等方式绕过限制。

内容的提问来源于stack exchange，提问作者ahmed gamal