使用BeautifulSoup的find方法按id查找元素始终返回None如何解决

• 首先校验请求是否拿到了正确的页面内容
  很多站点（比如你代码里的亚马逊）反爬规则严格，仅携带User-Agent头通常无法通过校验，会返回验证码页面、403/503错误页，这类返回内容里根本不存在你要找的id元素。你可以在拿到page对象后先加两行代码验证：

  print(page.status_code) # 确认状态码是200
  print('productTitle' in page.text) # 确认目标id确实存在于返回的HTML中
  

  如果状态码不是200或者搜索不到id，说明请求被拦截，可以尝试补充Referer、Accept-Language等完整的请求头，或者使用代理IP轮换请求。

• 确认目标元素是否为动态渲染内容
  如果站点的内容是页面加载完成后通过JavaScript动态生成的，requests只能拿到初始的静态HTML源码，里面不会包含动态渲染的元素。这种情况可以换用Selenium、Playwright等可以模拟浏览器执行JS的工具获取完整渲染后的页面，或者直接抓站点的后端数据接口请求数据。

• 更换解析器提升容错性
  Python内置的html.parser对不规范的HTML代码容错性较差，可能出现解析后元素丢失的问题。你可以安装容错性更高的lxml解析器：

  pip install lxml
  

  然后修改soup初始化代码：

  soup = BeautifulSoup(page.content, 'lxml')
  

• 检查id匹配规则
  部分站点的元素id会动态生成，或者存在大小写、前后多余空格的问题，定位时可以用partial匹配的方式兼容：

  title = soup.find('span', id=lambda x: x and 'productTitle' in x)
  

修改后可直接测试的代码 #

import requests
from bs4 import BeautifulSoup

site = 'https://www.amazon.com/PlayStation-5-Console/dp/B09DFCB66S'
# 补充完整请求头提升通过率
headers = {
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
    'Accept-Language': 'en-US,en;q=0.9',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8'
}

def stock_check():
    page = requests.get(site, headers = headers)
    # 先校验请求状态
    if page.status_code != 200:
        print(f"请求失败，状态码：{page.status_code}")
        return
    soup = BeautifulSoup(page.content, 'lxml')
    title = soup.find('span', id = 'productTitle')
    if title:
        print(title.text.strip())
    else:
        print("未找到目标元素")

stock_check()

内容的提问来源于stack exchange，提问作者tobester