Python Selenium如何从本地URL文本列表中随机选取36个链接执行遍历
Selenium URL遍历逻辑调整说明
调整核心目标
把原方案中每轮遍历全部100条URL的逻辑,替换为每轮从全量URL池中随机抽取36条完成操作,原有Selenium交互、异常处理、最终点击houses输入框的逻辑完全保留,不做改动。
具体改动步骤
- 优化文件读取逻辑:将原来每轮循环都打开links.txt逐行读URL的操作,调整为程序启动时一次性完成全量URL读取,把去除首尾空白、过滤空行后的URL存为内存列表,减少重复IO开销
- 替换遍历目标:每轮外层循环执行时,直接调用
random.sample(全量URL列表, 36),无重复随机抽取36条URL作为当前轮的处理对象,替代原来遍历全量100条URL的逻辑 - 保留原有处理流程:对抽取出的36条URL,完全沿用原有逻辑——访问URL、通过XPath定位class为firms的div下的所有子div、从元素列表中随机抽1个执行点击、遇到异常直接跳过当前URL
- 最终收尾逻辑不变:20轮外层循环全部跑完后,依然执行定位value为houses的input元素并点击的操作
关键代码片段参考
import random from selenium import webdriver from selenium.webdriver.common.by import By # 程序启动时一次性读取全量URL,仅执行1次 with open("links.txt", "r", encoding="utf-8") as f: all_urls = [line.strip() for line in f.readlines() if line.strip()] driver = webdriver.Chrome() # 外层20轮循环 for _ in range(20): # 每轮随机抽取36条URL,无重复 target_urls = random.sample(all_urls, 36) for url in target_urls: try: driver.get(url) # 原有定位firms下子元素并随机点击的逻辑 firms_child_divs = driver.find_elements(By.XPATH, "//div[@class='firms']/div") if firms_child_divs: random.choice(firms_child_divs).click() except Exception: # 原有异常跳过逻辑 continue # 所有轮次完成后,点击value为houses的input driver.find_element(By.XPATH, "//input[@value='houses']").click()
实操注意点
random.sample方法本身自带无重复抽取特性,不需要额外写去重逻辑,单轮内不会出现同一条URL被重复处理的情况- 如果需要复现调试场景,只要在程序初始化随机数的位置加上固定随机种子(比如
random.seed(100)),后续每次运行抽取的36条URL列表都完全一致,方便定位问题 - 不需要改动原有的异常捕获、元素点击的逻辑,只替换每轮要遍历的URL来源即可
内容的提问来源于stack exchange,提问作者SteadyMan
相关产品推荐
相关产品推荐

