Selenium Python相同XPath下find_element成功但find_elements返回空集问题

• 核心原因是Selenium旧版本中find_element和find_elements的等待逻辑存在差异：find_element匹配元素时会触发配置的隐式等待，直到找到元素或超时才返回；而find_elements不会触发隐式等待，调用时会直接返回当前DOM树中所有匹配的节点，没有匹配项就直接返回空列表。
• Twitter页面采用分批异步渲染机制，进入用户主页时第一条推文会优先挂载到DOM树，剩余已加载的推文卡片会晚数百毫秒完成挂载。如果调用find_elements时剩余推文还未完成挂载，就会返回空列表，而稍晚调用的find_element刚好命中已经挂载完成的第一条推文，因此可以正常返回内容。
• 部分场景下是因为使用了Selenium 4已废弃的find_elements_by_xpath写法，旧API的兼容性问题也可能导致匹配异常。

• 首先替换为Selenium 4推荐的标准写法，避免API兼容性问题：统一使用By类指定选择器类型，废弃find_elements_by_xpath这类旧方法。
• 使用显式等待确保推文节点已开始渲染后再批量获取，示例代码如下：

# 导入依赖
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 显式等待10秒，直到至少有一个推文节点挂载到DOM
WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//div[@data-testid="tweet"]')))
# 等待所有同批次推文完成挂载
import time
time.sleep(0.5)
# 批量获取所有已加载的推文卡片
cards = driver.find_elements(By.XPATH, '//div[@data-testid="tweet"]')

• 如果需要采集更多懒加载的推文，先模拟页面滚动到底部，等待新推文渲染完成后再执行上述获取操作即可。

内容的提问来源于stack exchange，提问作者AmanKP