Python Selenium获取多URL时如何在控制台输出URL总数量?
脚本调整方案
核心实现目标:在逐行打印采集到的URL时,同步实时展示已累计获取的URL总数量,同时修正原脚本循环逻辑的无效问题。
具体调整逻辑
- 新建空列表存储所有采集到的有效URL,通过列表长度直接计算实时累计总数,同时支持后续对URL的批量复用
- 对采集到的URL做去重判断,避免页面滚动加载时同一元素被重复计入总数
- 打印输出时同步带入当前累计计数,满足展示总数量的需求
- 替换原脚本中已废弃的旧版Selenium API,修正循环内反复获取同一元素的逻辑漏洞
调整后可直接运行的完整脚本
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.service import Service import time # 替换为你本地chromedriver的实际存放路径 driver = webdriver.Chrome(service=Service("C:\\Program Files\\Python39\\libs\\chromedriver.exe")) driver.maximize_window() driver.get("https://www.libertybooks.com/") driver.implicitly_wait(10) time.sleep(5) # 点击同意cookie权限 driver.find_element(By.XPATH, '//a[@class="cc-btn cc-allow"]').click() # 进入非小说分类页 driver.find_element(By.XPATH, '//ul/li[2][@class="top_level dropdown"]/a').click() collected_urls = [] # 按照原脚本设置的30次循环逻辑滚动加载内容 for i in range(30): # 匹配当前页面所有符合规则的图片元素 img_elements = driver.find_elements(By.XPATH, '//img[@class="img-responsive reg-image"]') for img in img_elements: src = img.get_attribute('src') if src not in collected_urls: collected_urls.append(src) # 打印时同步展示当前累计的已获取URL总数 print(f"累计已获取URL数:{len(collected_urls)} | 当前URL:{src}") # 滚动到页面底部加载新内容 driver.execute_script("window.scrollTo(0, document.body.scrollHeight)") time.sleep(1) # 循环结束后输出最终统计结果 print(f"\n采集完成,最终累计获取有效URL总数:{len(collected_urls)}")
输出效果说明
每采集到一个有效URL就会在控制台同步打印关联信息:一是当前已经累计拿到的URL总数量,二是刚采集到的具体URL;全部循环结束后还会输出最终的总统计值,完全匹配预设的功能需求。
内容的提问来源于stack exchange,提问作者Usama Zaid
相关产品推荐
相关产品推荐

