You need to enable JavaScript to run this app. Python Selenium获取多URL时如何在控制台输出URL总数量?
优惠活动
大模型
产品
解决方案
定价
更多

Python Selenium获取多URL时如何在控制台输出URL总数量?

脚本调整方案

核心实现目标:在逐行打印采集到的URL时,同步实时展示已累计获取的URL总数量,同时修正原脚本循环逻辑的无效问题。

具体调整逻辑

  • 新建空列表存储所有采集到的有效URL,通过列表长度直接计算实时累计总数,同时支持后续对URL的批量复用
  • 对采集到的URL做去重判断,避免页面滚动加载时同一元素被重复计入总数
  • 打印输出时同步带入当前累计计数,满足展示总数量的需求
  • 替换原脚本中已废弃的旧版Selenium API,修正循环内反复获取同一元素的逻辑漏洞

调整后可直接运行的完整脚本

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
import time

# 替换为你本地chromedriver的实际存放路径
driver = webdriver.Chrome(service=Service("C:\\Program Files\\Python39\\libs\\chromedriver.exe"))
driver.maximize_window()
driver.get("https://www.libertybooks.com/")

driver.implicitly_wait(10)
time.sleep(5)

# 点击同意cookie权限
driver.find_element(By.XPATH, '//a[@class="cc-btn cc-allow"]').click()
# 进入非小说分类页
driver.find_element(By.XPATH, '//ul/li[2][@class="top_level dropdown"]/a').click()

collected_urls = []
# 按照原脚本设置的30次循环逻辑滚动加载内容
for i in range(30):
    # 匹配当前页面所有符合规则的图片元素
    img_elements = driver.find_elements(By.XPATH, '//img[@class="img-responsive reg-image"]')
    for img in img_elements:
        src = img.get_attribute('src')
        if src not in collected_urls:
            collected_urls.append(src)
            # 打印时同步展示当前累计的已获取URL总数
            print(f"累计已获取URL数:{len(collected_urls)} | 当前URL:{src}")
    # 滚动到页面底部加载新内容
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")
    time.sleep(1)

# 循环结束后输出最终统计结果
print(f"\n采集完成,最终累计获取有效URL总数:{len(collected_urls)}")

输出效果说明

每采集到一个有效URL就会在控制台同步打印关联信息:一是当前已经累计拿到的URL总数量,二是刚采集到的具体URL;全部循环结束后还会输出最终的总统计值,完全匹配预设的功能需求。

内容的提问来源于stack exchange,提问作者Usama Zaid

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.07 05:15:04