Selenium爬取遇问题：无法定位需滚动可见的列表元素，求助解决

你的问题核心是：目标元素未进入当前可视区域，浏览器未加载对应DOM，导致直接查找元素时触发NoSuchElementException。下面是几种可行的解决思路：

1. 先滚动到目标区域，再查找元素 #

如果目标元素所在的列表有固定容器，先滚动容器到底部，再尝试定位元素：

# 假设列表容器的id是list-container，根据实际情况替换
list_container = driver.find_element(By.ID, "list-container")
# 滚动容器到底部
driver.execute_script("arguments[0].scrollTop = arguments[0].scrollHeight", list_container)

# 之后再查找目标元素
target_element = driver.find_element(By.XPATH, f'//span[@title="{dat}"]')
ActionChains(driver).move_to_element(target_element).perform()
target_element.click()

如果是页面全局滚动，直接滚动到页面底部：

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

2. 结合显式等待处理动态加载 #

很多列表是滚动后才异步加载内容，需要等待元素加载完成后再操作，用显式等待替代直接查找：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 先滚动一次触发加载
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

# 最多等待10秒，直到元素出现
target_element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.XPATH, f'//span[@title="{dat}"]'))
)

# 滚动到元素位置确保可见，再点击
ActionChains(driver).move_to_element(target_element).perform()
target_element.click()

3. 循环滚动加载，直到找到元素 #

如果列表需要多次滚动才会加载到目标元素，用循环滚动+重试的方式：

import time
from selenium.common.exceptions import NoSuchElementException

found = False
last_scroll_height = driver.execute_script("return document.body.scrollHeight")

while not found:
    try:
        target_element = driver.find_element(By.XPATH, f'//span[@title="{dat}"]')
        ActionChains(driver).move_to_element(target_element).perform()
        target_element.click()
        found = True
    except NoSuchElementException:
        # 滚动到底部
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        time.sleep(2)  # 等待加载，时间根据页面调整
        # 检查是否已滚动到底部，避免无限循环
        current_scroll_height = driver.execute_script("return document.body.scrollHeight")
        if current_scroll_height == last_scroll_height:
            print("已滚动至页面底部，未找到目标元素")
            break
        last_scroll_height = current_scroll_height

4. 排查元素是否在iframe内 #

如果目标元素嵌套在iframe中，必须先切换到iframe才能定位：

# 替换为目标iframe的id或name，也可以用元素定位
driver.switch_to.frame("target-iframe-id")

# 之后再执行查找元素的操作
target_element = driver.find_element(By.XPATH, f'//span[@title="{dat}"]')

另外注意：find_element_by_xpath是已弃用的旧API，建议改用driver.find_element(By.XPATH, 定位表达式)的写法。

内容的提问来源于stack exchange，提问作者rom gvili