Octoparse爬取含重复交互控件页面的问题求助

核心思路 #

你的问题出在直接用全局XPath会默认选中第一个匹配元素，要实现遍历每行按钮，得基于行层级定位或者遍历所有匹配元素列表，以下是具体可行的方案：

方案1：遍历当前页所有按钮元素列表 #

先一次性获取当前页所有目标按钮，再逐个循环处理，处理弹窗后继续下一个：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("https://agent-counsellor-ukhub.britishcouncil.org/gal")

while True:
    # 获取当前页所有按钮（注意用find_elements复数形式）
    buttons = WebDriverWait(driver, 10).until(
        EC.presence_of_all_elements_located((By.XPATH, '//div[@class="btn generic-btn"]'))
    )
    
    for btn in buttons:
        # 滚动到按钮位置避免无法点击
        driver.execute_script("arguments[0].scrollIntoView();", btn)
        btn.click()
        
        # 爬取弹窗内数据（示例：假设弹窗内容在class为modal-content的容器中）
        modal_data = WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.CLASS_NAME, "modal-content"))
        ).text
        
        # 关闭弹窗（示例：假设关闭按钮class为close-btn）
        close_btn = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.CLASS_NAME, "close-btn"))
        )
        close_btn.click()
    
    # 点击下一页（示例：匹配含"Next"文本的按钮）
    try:
        next_page = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.XPATH, '//a[contains(text(), "Next")]'))
        )
        next_page.click()
    except:
        # 无下一页时退出循环
        break

driver.quit()

方案2：基于行层级精准定位按钮 #

先定位当前页的每一行，再从行内查找按钮，避免全局匹配的问题（更稳定，适合DOM易变的页面）：

while True:
    # 获取当前页所有行（需根据页面实际结构调整，比如表格行用//tr，列表项用//div[@class="row"]）
    rows = WebDriverWait(driver, 10).until(
        EC.presence_of_all_elements_located((By.XPATH, '//tr[contains(@class, "data-row")]'))
    )
    
    for row in rows:
        # 在当前行内查找按钮（用相对路径.//开头，仅在该行范围内匹配）
        btn = row.find_element(By.XPATH, './/div[@class="btn generic-btn"]')
        driver.execute_script("arguments[0].scrollIntoView();", btn)
        btn.click()
        
        # 爬取弹窗数据 + 关闭弹窗（逻辑同方案1）
        modal_data = WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.CLASS_NAME, "modal-content"))
        ).text
        close_btn = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.CLASS_NAME, "close-btn"))
        )
        close_btn.click()
    
    # 点击下一页
    try:
        next_page = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.XPATH, '//a[contains(text(), "Next")]'))
        )
        next_page.click()
    except:
        break

注意事项 #

• 处理弹窗必须用WebDriverWait显式等待元素加载，避免隐式等待的不稳定问题。
• 如果点击按钮后页面DOM刷新导致元素失效（抛出StaleElementReferenceException），可改用按索引定位：(//div[@class="btn generic-btn"])[{}].format(i+1)，循环时每次重新定位第i个按钮。
• 滚动到元素位置再点击，避免元素在视窗外无法触发点击的问题。

内容的提问来源于stack exchange，提问作者DanB