Bs4访问任意站点均返回AttributeError报错，同代码其他设备运行正常

报错AttributeError: 'NoneType' object has no attribute 'prettify'的直接原因是soup.find('div', id='rcnt')未匹配到对应元素，返回了空值None，对空值调用方法触发异常。结合仅本地运行出错、其他设备同代码正常、且其他bs4项目也报错的特征，按以下优先级排查：

• 优先排查本地解析器依赖异常
  你代码使用lxml作为bs4的解析器，若本地lxml库安装损坏、版本与bs4不兼容，会导致解析DOM树结构异常，无法匹配到存在的元素。
  修复步骤：
  1. 卸载重装依赖：

  pip uninstall beautifulsoup4 lxml -y
  pip install beautifulsoup4 lxml
  

  2. 临时替换解析器验证：将代码中soup = BeautifulSoup(response, "lxml")修改为soup = BeautifulSoup(response, "html.parser")（使用Python内置解析器，无需额外依赖），若运行正常即可判定是lxml的问题。
• 排查本地网络与返回内容异常
  本地访问谷歌的链路与其他设备不同时，可能出现代理返回异常页面、谷歌触发反爬返回验证码页/旧版页面、UA被识别为爬虫返回特殊结构页面的情况，导致页面不存在id为rcnt的div元素。
  修复步骤：
  1. 升级请求头的User-Agent，替换为新版浏览器UA：

  hdr = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36' }
  

  2. 加调试代码查看返回的实际页面内容，在创建soup前添加：

  print(response.read().decode('utf-8'))
  

  确认返回内容是正常的谷歌搜索结果页，而非验证码、重定向或报错页面。
• 优化代码健壮性
  无论何种原因导致元素匹配失败，先添加判空逻辑避免直接崩溃，同时输出调试信息：

rcnt_div = soup.find('div', id='rcnt')
if rcnt_div:
    print(rcnt_div.prettify())
else:
    print("未匹配到目标元素，完整页面结构如下：")
    print(soup.prettify())

• 验证bs4基础功能
  你提到其他站点使用bs4也报错，可以运行以下极简测试脚本确认bs4本身功能正常：

from bs4 import BeautifulSoup
test_html = "<div id='test'>测试内容</div>"
soup = BeautifulSoup(test_html, 'lxml')
target = soup.find('div', id='test')
if target:
    print(target.prettify())
else:
    print("本地bs4/lxml依赖存在异常，请重新安装")

如果该测试脚本运行异常，直接按第一步重装依赖即可解决。

内容的提问来源于stack exchange，提问作者Charo