Selenium+Python定位类名元素报NoSuchElementException解决方案

• 等待逻辑不合理：你设置的3秒隐式等待仅对单次元素查找轮询生效，页面中lend-table是首屏直接输出的静态骨架容器，内部的行数据、lend-table__row-item__cell-usd单元格是接口请求完成后才动态插入DOM的。3秒时长往往不够接口返回+前端渲染完成，你定位到外层容器时，内层目标数据还没生成。
• 定位语句存在语法缺陷：你写的XPath//div[@class="lend-table__row-item__cell-usd"]是对class属性做全值精确匹配，只要目标元素同时携带其他辅助样式类（比如状态色、排版相关的额外class），该语句就会匹配失败。另外你之前定位lend-table后没有基于该父元素做链式查找，全局查找时如果元素在iframe或shadow DOM内，会直接查找失败。
• Headless模式被反爬拦截：该站点对无头浏览器有基础检测，默认headless参数启动的浏览器会被识别为爬虫，要么拦截数据接口，要么返回不含目标数据的降级页面，DOM中根本不会生成对应的单元格元素。

按优先级逐步排查调整：

1. 替换等待逻辑：用显式等待替代固定时长的隐式等待，等目标元素真正渲染完成后再执行查找，不要靠猜时间设等待。
2. 修正定位语法：不要用class全值精确匹配的写法，优先用CSS类选择器做包含匹配；查找多个同类型元素必须用find_elements（带s后缀）方法。
3. 补全无头浏览器反检测参数：绕过站点的基础爬虫识别。
4. 增加iframe判断逻辑：如果表格嵌套在iframe中，先切换到对应iframe上下文再查找元素。

修正后的可运行代码如下：

from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium import webdriver

options = Options()
# 无头模式配置+反检测参数
options.add_argument('--headless=new')
options.add_argument('--disable-blink-features=AutomationControlled')
options.add_argument('--user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')

# 初始化驱动
driver = webdriver.Chrome('/Users/MYNAME/Downloads/chromedriver 2', options=options)
driver.maximize_window()
driver.implicitly_wait(3)
URL = "https://tulip.garden/lend"
driver.get(URL)

# 检测并切换iframe（无iframe时该步骤自动跳过）
try:
    iframe = WebDriverWait(driver, 5).until(EC.presence_of_element_located((By.TAG_NAME, 'iframe')))
    driver.switch_to.frame(iframe)
except:
    pass

# 显式等待最多15秒，直到所有目标单元格加载完成
wait = WebDriverWait(driver, 15)
# 限定在lend-table容器内查找目标单元格，用CSS选择器做class包含匹配
usd_cells = wait.until(EC.presence_of_all_elements_located(
    (By.CSS_SELECTOR, '.lend-table .lend-table__row-item__cell-usd')
))

# 遍历提取文本
for cell in usd_cells:
    print(cell.text)

driver.quit()

• 旧版Selenium自带的find_element_by_*系列方法已经在高版本废弃，统一用By类指定定位方式稳定性更高。
• 如果调整后仍然报错，先执行print(driver.page_source)打印当前页面源码，确认返回的DOM中是否存在目标元素，排查是否有额外的反爬拦截、人机验证等逻辑。
• 不推荐用//div[@class="xxx"]的XPath写法匹配样式类，容错性极低，优先用CSS选择器的类选择器，或者把XPath改成//div[contains(@class, "lend-table__row-item__cell-usd")]做包含匹配。

内容的提问来源于stack exchange，提问作者Newquant