如何加速Python中Selenium获取元素列表文本的操作？

问题背景 #

我正在优化Python中Selenium代码的执行速度。目前使用find_elements(By.XPATH, xpath)函数获取元素列表（返回<class 'list'>），需要提取每个元素的文本，但element.text操作平均每个耗时0.02秒，当元素数量超过5000个时，这一步成为严重性能瓶颈。

问题代码片段：

list_on_page = driver.find_elements(By.XPATH, "xpath") # <<< 1000个元素耗时约0.15s

for element in list_on_page:
  element_text = element.text    # <<< 每个元素耗时0.02s
  if element_text not in my_dict:          # 以下两行在1000元素列表中耗时\
    my_dict.update({element_text : False}) # 5.2e-6s完成

已尝试先生成文本列表再遍历，但核心耗时点仍是每个元素的.text操作，现提出两个问题：

1. 如何提升该操作的速度？
2. 能否直接通过Selenium获取文本列表而非元素列表？

解决方案 #

1. 提升.text操作速度的方法 #

• 通过JavaScript批量提取：利用execute_script在浏览器端一次性获取所有目标元素的文本，避免Python与浏览器之间的逐个元素通信开销，这是最有效的优化方式。示例代码：

# 替换成你的目标XPATH或CSS选择器
text_list = driver.execute_script("""
    const elements = document.querySelectorAll('your-target-selector');
    return Array.from(elements).map(el => el.textContent.trim());
""")

这种方式把循环和文本提取逻辑放在浏览器端执行，仅返回最终的文本列表，能将1000个元素的文本提取耗时从约20秒（0.02s/个）压缩到毫秒级。

• 优化元素定位器：优先使用By.CSS_SELECTOR替代XPATH，CSS选择器的解析和定位效率通常高于XPATH，能减少初始获取元素列表的耗时，间接降低整体操作的时间成本。

2. 直接获取文本列表的方法 #

Selenium没有原生API直接返回文本列表，但通过上述的JavaScript批量提取方法，就能实现直接获取文本列表的需求，且性能远优于先获取元素列表再逐个提取文本的方式。

额外优化：字典更新逻辑 #

针对字典更新步骤，可通过集合去重后批量更新，进一步提升效率：

unique_texts = set(text_list)
# 仅更新字典中不存在的键
my_dict.update({text: False for text in unique_texts if text not in my_dict})

内容的提问来源于stack exchange，提问作者Daniel