You need to enable JavaScript to run this app. Selenium动态网页爬取出现FirefoxWebElement不可迭代错误
优惠活动
大模型
产品
解决方案
定价
更多

Selenium动态网页爬取出现FirefoxWebElement不可迭代错误

报错根因排查

你遇到的循环报错、手动找XPath效率低的问题,核心是两个对Selenium方法的理解偏差:

  • 单元素定位方法find_element()只会返回单个匹配到的FirefoxWebElement对象,这个对象本身不支持迭代,所以直接对它写循环肯定会报类型错误。要拿到可循环的元素集合,必须用复数形式的find_elements(),这个方法返回的是匹配到的WebElement组成的Python列表,列表本身是支持循环遍历的。
  • 手动从浏览器复制的从<html>根节点开始的长路径绝对XPath稳定性极差,页面结构稍微调整就会失效,完全没有必要逐页手动复制,只要找到分页区域的稳定标识(比如这个分页容器自带的固定ID),就可以在容器范围内定位所有分页元素,不用关心外部的DOM层级。
可直接落地的改造方案

第一步:修正分页区域的元素定位逻辑

你已经找到的分页容器IDdnn_ctr454_View_OrganizationsListViewDataPager是非常稳定的标识,不需要再从长链路的XPath找起。首先先定位到这个分页容器本身,再在容器的作用域下找内部的所有分页链接,代码结构如下:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Firefox()
driver.get("http://www.nigeriatradehub.gov.ng/Organizations")
# 等分页容器加载完成,避免元素还没出现就开始定位报错
pager_container = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, "dnn_ctr454_View_OrganizationsListViewDataPager"))
)
# 在分页容器内部找所有分页链接,这里用复数find_elements,返回的是可循环的列表
all_page_links = pager_container.find_elements(By.TAG_NAME, "a")

第二步:编写自动翻页的循环逻辑

因为你的目标是遍历到第51页,完全不需要靠“依次点下一页”的笨方法,也不需要盲遍历所有链接,直接通过页码文本定位要跳转的目标页就可以,这种定位方式比数a标签的位置序号稳定得多:

# 已知总页数为51,第1页是打开页面默认加载的,从第2页开始遍历即可
for target_page_num in range(2, 52):
    # 在分页容器内,找文本内容等于当前目标页码的a标签
    target_link = pager_container.find_element(
        By.XPATH, f".//a[text()='{target_page_num}']"
    )
    target_link.click()
    
    # 关键:等目标页的表格内容加载完成,避免抓拿到上一页的旧数据
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "dnn_ctr454_View_OrganizationsListView"))
    )
    
    # 这里写入你抓取当前页表格内容的逻辑即可,比如提取所有行的文本存入本地文件
    # table_rows = driver.find_elements(By.XPATH, '//*[@id="dnn_ctr454_View_OrganizationsListView"]//tr')
常见踩坑提醒

之前你写的for i in driver.find_element_by_xpath(path): i.click()逻辑之所以报错,是因为你把“拿到单个容器元素”和“拿到容器内部的可循环子元素列表”这两个步骤混在一起了。正确的两步应该是:先用单元素定位拿到分页容器这个WebElement对象,再调用这个对象自身的find_elements()方法,在容器的子层级里找所有分页链接,这时候返回的才是可以循环的列表。

  • 优先用元素自带的固定ID、文本内容做定位依据,不要用从根节点开始的长绝对XPath,能避免90%的定位失效问题,完全不用手动逐页复制XPath。
  • 这类DNN框架自带的分页组件通常只会渲染当前页前后几个可见的页码,盲遍历所有a标签很容易点到无效的隐藏元素,直接按页码文本定位目标页,比依次点“下一页”的稳定性高很多。
  • 每次翻页后必须加显式等待,不能点击完成立刻抓数据——Selenium的执行速度远快于网页加载速度,不加等待很容易出现“翻页了但内容还是上一页”的问题。

内容的提问来源于stack exchange,提问作者Bobby

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.11 15:15:00