Selenium网页爬虫无法找到strong标签返回Nonetype错误如何解决

核心问题原因 #

• 请求地址不匹配：你目标要爬取的是bvb.ro的金融工具详情页，但代码中driver.get()传入的是雅虎财经的地址，请求错了站点自然找不到你需要的对应strong标签。
• 无头浏览器反爬拦截：默认配置的无头Chrome会被大部分站点的反爬策略识别，返回的页面是拦截页而非正常内容，没有对应DOM元素。
• 硬等待可靠性低：time.sleep(5)属于固定时长的硬等待，若页面资源加载慢、或者内容是动态渲染后插入的，等待结束时对应strong标签可能还没加载完成，拿page_source解析自然返回None。
• 可能存在iframe嵌套：如果目标strong标签被包裹在iframe标签内，直接在顶层DOM查询是找不到对应元素的。

修复方案 #

• 修正请求地址：将driver.get()的参数替换为你实际要爬取的目标站点地址。
• 给无头浏览器添加伪装：添加UA标识、禁用自动化检测特征，避免被站点反爬拦截。
• 替换硬等待为显式等待：指定等待目标元素加载完成后再执行解析操作，提升可靠性。
• 排查iframe层级：打开开发者工具查看目标strong标签外层是否有iframe包裹，如有需要先切换到对应iframe再执行定位。

可运行参考代码 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup

option = webdriver.ChromeOptions()
# 无头模式配置加伪装
option.add_argument('headless=new')
option.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36')
option.add_argument('--disable-blink-features=AutomationControlled')
option.add_experimental_option('excludeSwitches', ['enable-automation'])
option.add_experimental_option('useAutomationExtension', False)

driver = webdriver.Chrome(options=option)
# 替换为实际目标站点地址
driver.get('https://bvb.ro/FinancialInstruments/Details/FinancialInstrumentsDetails.aspx?s=M')

try:
    # 显式等待最多10秒，直到strong标签加载出来
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.TAG_NAME, 'strong'))
    )
    html_text3 = driver.page_source
    soup3 = BeautifulSoup(html_text3,'lxml')
    data3 = soup3.find("strong")
    print(data3)
finally:
    driver.quit()

如果执行后还是找不到对应strong标签，可以先打印page_source查看返回的页面源码内容，确认是反爬拦截还是元素定位规则有误。

内容的提问来源于stack exchange，提问作者Animesh Singh