You need to enable JavaScript to run this app. Python Selenium如何从本地URL文本列表中随机选取36个链接执行遍历
优惠活动
大模型
产品
解决方案
定价
更多

Python Selenium如何从本地URL文本列表中随机选取36个链接执行遍历

Selenium URL遍历逻辑调整说明

调整核心目标

把原方案中每轮遍历全部100条URL的逻辑,替换为每轮从全量URL池中随机抽取36条完成操作,原有Selenium交互、异常处理、最终点击houses输入框的逻辑完全保留,不做改动。

具体改动步骤

  • 优化文件读取逻辑:将原来每轮循环都打开links.txt逐行读URL的操作,调整为程序启动时一次性完成全量URL读取,把去除首尾空白、过滤空行后的URL存为内存列表,减少重复IO开销
  • 替换遍历目标:每轮外层循环执行时,直接调用random.sample(全量URL列表, 36),无重复随机抽取36条URL作为当前轮的处理对象,替代原来遍历全量100条URL的逻辑
  • 保留原有处理流程:对抽取出的36条URL,完全沿用原有逻辑——访问URL、通过XPath定位class为firms的div下的所有子div、从元素列表中随机抽1个执行点击、遇到异常直接跳过当前URL
  • 最终收尾逻辑不变:20轮外层循环全部跑完后,依然执行定位value为houses的input元素并点击的操作

关键代码片段参考

import random
from selenium import webdriver
from selenium.webdriver.common.by import By

# 程序启动时一次性读取全量URL,仅执行1次
with open("links.txt", "r", encoding="utf-8") as f:
    all_urls = [line.strip() for line in f.readlines() if line.strip()]

driver = webdriver.Chrome()
# 外层20轮循环
for _ in range(20):
    # 每轮随机抽取36条URL,无重复
    target_urls = random.sample(all_urls, 36)
    for url in target_urls:
        try:
            driver.get(url)
            # 原有定位firms下子元素并随机点击的逻辑
            firms_child_divs = driver.find_elements(By.XPATH, "//div[@class='firms']/div")
            if firms_child_divs:
                random.choice(firms_child_divs).click()
        except Exception:
            # 原有异常跳过逻辑
            continue

# 所有轮次完成后,点击value为houses的input
driver.find_element(By.XPATH, "//input[@value='houses']").click()

实操注意点

  • random.sample方法本身自带无重复抽取特性,不需要额外写去重逻辑,单轮内不会出现同一条URL被重复处理的情况
  • 如果需要复现调试场景,只要在程序初始化随机数的位置加上固定随机种子(比如random.seed(100)),后续每次运行抽取的36条URL列表都完全一致,方便定位问题
  • 不需要改动原有的异常捕获、元素点击的逻辑,只替换每轮要遍历的URL来源即可

内容的提问来源于stack exchange,提问作者SteadyMan

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.04 21:27:03