使用Selenium遍历Craigslist无序列表搜索结果时无法正确获取目标链接文本

你当前代码拿不到href返回全None的核心错误是属性获取的目标元素错配：Craigslist搜索结果列表的结构里，class为rows的<ul>下的每个<li>是结果项的容器节点，本身不携带href属性；真正承载跳转链接的是<li>内部嵌套的带result-title类名的<a>标签，直接在li节点上调用get_attribute('href')自然只会返回None。

• 第一步：调整循环内的元素定位逻辑，在每个li节点的作用域下，先定位内部的链接a标签，再获取href属性。修正后的对应代码段：

ulSelector = browser.find_element_by_class_name("rows")
li_class_list = ulSelector.find_elements_by_tag_name("li")
for li_item in li_class_list:
    # 在当前li的范围内查找结果链接元素
    result_link = li_item.find_element_by_class_name("result-title")
    print(result_link.get_attribute('href'))

• 第二步：补充搜索提交后的页面加载等待机制。你现在提交搜索后立刻定位列表元素，没有做加载等待的话，很可能拿到的是未渲染完成的空li节点，哪怕定位到内部a标签也无法取到正确属性。建议加入显式等待，确保所有结果链接完全加载后再开始遍历：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
# 点击搜索按钮后等待结果列表渲染完成
WebDriverWait(browser, 10).until(
    EC.presence_of_all_elements_located((By.CSS_SELECTOR, "ul.rows li a.result-title"))
)

• 第三步：规避常见的定位错位问题。在当前li节点的作用域内向下查找子元素时，不要跨节点从整个页面层级定位a标签，否则容易匹配到列表外的其他页面链接，导致遍历结果和列表项错位。
• 版本兼容提示：当前代码使用的find_element_by_id/find_element_by_class_name这类旧版API在Selenium4.x版本中已被标记弃用，后续可统一替换为find_element(By.定位方式, "定位值")的标准写法，避免版本升级后出现运行报错。

额外验证技巧：如果不确定当前li节点下有哪些子元素，可先打印li元素的outerHTML属性，确认DOM结构里的实际元素层级，再调整定位逻辑即可。

内容的提问来源于stack exchange，提问作者Avery McCarthy