Selenium Webdriver通过URL列表批量下载文件时循环失效无报错问题
Selenium 批量下载功能失效问题定位
核心问题点梳理
- 变量传参错误:循环遍历目标链接时,定义的循环变量为
web,但驱动发起页面跳转时仍调用单链接测试阶段的全局变量url,批量流程下根本没有对列表内的目标链接发起请求,自然无法触发对应下载动作;且由于使用裸except块吞掉了“变量未定义”的NameError,导致整个流程看不到任何报错提示。 - 下载路径配置冲突:代码开头定义了目标下载路径
download_dir = '/Users/datawizard/files/',但Chrome预配置项里写死了另一套无关路径'/Users/clinton/GRA_2021/scraping_project/pdf/',后续通过CDP命令设置下载行为时又使用开头定义的download_dir,无头Chrome模式下两套路径配置不一致会触发内部权限拦截,导致文件无法落盘。 - 驱动资源未释放:循环内每次创建新的Chrome驱动实例,但全程没有在单个链接处理完成后调用
driver.quit()释放进程,多轮循环后会堆积大量残留的无头Chrome进程,占用系统资源的同时阻塞下载端口,导致下载动作无法被系统识别。 - 下载策略配置缺失:代码注释掉了
safebrowsing.enabled = True的配置项,新版无头Chrome默认会对PDF类附件下载触发安全拦截,需要显式开启该配置才能放行下载流程;同时使用了已弃用的chrome_options入参初始化驱动,部分新版本Selenium下配置不会生效。 - 流程缺少下载等待:页面跳转后没有预留足够的文件下载时间,驱动在下载动作还未完全触发时就被后续循环覆盖,导致文件还没写入磁盘就被中断。
修正后的可运行参考代码
import time from selenium import webdriver # 统一全局下载路径,避免前后配置不一致 download_dir = '/Users/datawizard/files/' down_link = [ "https://www.regulations.gov/contentStreamer?documentId=WHD-2020-0007-1730&attachmentNumber=1&contentType=pdf" ] for web in down_link: driver = None try: options = webdriver.ChromeOptions() # 无头模式基础配置 options.add_argument('headless') options.add_argument('--no-sandbox') options.add_argument('--disable-dev-shm-usage') # 浏览器下载策略预配置 options.add_experimental_option("prefs", { "download.default_directory": download_dir, "download.prompt_for_download": False, "download.directory_upgrade": True, "safebrowsing.enabled": True, "plugins.always_open_pdf_externally": True }) # 使用新版Selenium的参数名初始化驱动 driver = webdriver.Chrome(options=options) # 无头模式下通过CDP命令显式开启文件下载权限 driver.command_executor._commands["send_command"] = ("POST", '/session/$sessionId/chromium/send_command') params = { 'cmd': 'Page.setDownloadBehavior', 'params': {'behavior': 'allow', 'downloadPath': download_dir} } driver.execute("send_command", params) # 修正传参错误,使用循环内当前遍历的链接发起请求 driver.get(web) # 预留足够的下载等待时间,避免流程提前中断 time.sleep(5) except Exception as e: # 捕获具体报错信息,不再无差别吞错 print(f"{web} 链接处理失败,错误详情:{str(e)}") finally: # 无论流程成功失败,都强制释放驱动进程,避免后台残留 if driver: driver.quit()
内容的提问来源于stack exchange,提问作者DataWizard
相关产品推荐
相关产品推荐

