如何用Python+Selenium循环传入多关键词执行搜索？

我来帮你搞定这个问题！你的思路是对的，但有几个小细节没处理好，导致只有第一个关键词的结果被保留或者后续搜索没生效。下面是具体的问题分析和修复后的代码：

问题根源 #

1. 结果列表被重复初始化：你把links_list = []放在了for key in keys的循环内部，这意味着每处理一个关键词，这个列表就会被清空一次，之前的结果都会丢失（如果后续搜索能正常获取结果，最后也只会保留最后一个关键词的结果）。
2. 搜索框未清空：如果不手动清空搜索框，第二次输入关键词时会和前一次的内容叠加（比如变成key1key2），导致搜索结果不符合预期甚至无结果。
3. 缺少页面加载等待：点击搜索按钮后，页面需要一定时间加载新的搜索结果，直接提取元素可能会因为元素还未渲染完成而获取到空列表。

修复后的完整代码 #

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 初始化结果列表，放在循环外面，避免每次清空
links_list = []
keys = ['key1', 'key2', 'key3']

for key in keys:
    # 回到搜索首页
    driver.get('my_url')
    
    # 显式等待搜索框加载完成，避免找不到元素
    searchbox = WebDriverWait(driver, 10).until(
        EC.presence_of_all_elements_located((By.NAME, 'searchterm'))
    )[1]
    
    # 先清空搜索框，再输入当前关键词
    searchbox.clear()
    searchbox.send_keys(key)
    
    # 等待搜索按钮可点击，再点击
    button = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.XPATH, "//div[contains(@class, 'submit-btn')]"))
    )
    button.click()
    
    # 等待搜索结果区域加载完成，确保能获取到结果
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, 'search-result'))
    )
    
    # 提取当前关键词的搜索结果链接
    div = driver.find_elements(By.CLASS_NAME, 'search-result')
    for tags in div:
        links = tags.find_elements(By.CSS_SELECTOR, 'a')
        for elem in links:
            href = elem.get_attribute('href')
            if href not in links_list:  # 可选：去重
                links_list.append(href)

# 最后可以打印或者处理所有结果
print(links_list)

关键优化点说明 #

• 将结果列表移到循环外：确保所有关键词的搜索结果都会被追加到同一个列表中，不会丢失之前的数据。
• 添加显式等待：使用WebDriverWait替代直接查找元素，确保页面元素加载完成后再进行操作，避免因为网络延迟或页面渲染慢导致的元素定位失败。
• 清空搜索框：每次输入新关键词前调用searchbox.clear()，避免关键词叠加。
• 可选去重：如果担心不同关键词搜索到相同链接，可以添加判断避免重复添加。

内容的提问来源于stack exchange，提问作者guru