无需打开浏览器，如何通过XPath获取Href实现批量文档下载？

嘿，这个反复开Chrome导致的性能问题我之前做批量爬取的时候也踩过坑，给你几个亲测有效的解决方案，按优先级推荐：

如果目标文档的下载链接可以通过XPath解析出真实的资源URL（不是需要JS跳转的伪链接），那完全没必要启动浏览器，直接用HTTP请求库下载就行，资源占用极低，速度还快。

步骤大概是：

• 请求目标网页的HTML内容
• 用XPath解析器提取真实下载链接
• 直接发起GET请求保存文件

示例代码（Python）：

import requests
from lxml import etree
from urllib.parse import urljoin

# 模拟浏览器请求头，避免被网站拦截
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"
}

# 遍历从数据库读取的URL和XPath
for page_url, xpath in your_database_records:
    # 获取网页HTML
    page_response = requests.get(page_url, headers=headers)
    html_tree = etree.HTML(page_response.text)
    
    # 提取下载链接
    download_path = html_tree.xpath(xpath)[0]
    # 处理相对路径，转为绝对URL
    download_url = urljoin(page_url, download_path)
    
    # 下载文件
    file_response = requests.get(download_url, headers=headers)
    # 从链接提取文件名（可根据需求自定义）
    filename = download_url.split("/")[-1]
    with open(f"./downloads/{filename}", "wb") as f:
        f.write(file_response.content)

注意：如果目标网站有反爬机制（比如验证码、Cookie验证），可以先通过浏览器获取一次有效Cookie，再加入请求头里。

如果下载链接需要JS渲染生成（比如点击按钮才生成下载地址），那不要每次循环都新开浏览器，而是复用同一个Chrome进程，开启无头模式（不显示界面），能大幅降低内存和CPU占用。

示例代码（Python + Selenium）：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import time

# 配置Chrome无头模式和优化参数
chrome_options = Options()
chrome_options.add_argument("--headless=new")  # 新版无头模式更稳定
chrome_options.add_argument("--disable-gpu")
chrome_options.add_argument("--no-sandbox")
# 设置默认下载路径，避免弹窗
prefs = {"download.default_directory": "./downloads"}
chrome_options.add_experimental_option("prefs", prefs)

# 只启动一次浏览器
driver = webdriver.Chrome(options=chrome_options)

for page_url, xpath in your_database_records:
    driver.get(page_url)
    # 定位下载链接并点击
    download_link = driver.find_element(By.XPATH, xpath)
    download_link.click()
    # 等待下载完成（可根据文件大小调整等待时间）
    time.sleep(3)

# 所有任务完成后关闭浏览器
driver.quit()

核心是复用同一个driver实例，而不是每次循环都新建，这样就不用反复开近100次浏览器了。

如果觉得Selenium的资源管理不够高效，可以试试Playwright，它支持在同一个浏览器实例下创建多个页面，内置下载等待API，体验更流畅。

示例代码：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    # 启动一次无头浏览器
    browser = p.chromium.launch(headless=True)
    # 配置默认下载路径
    context = browser.new_context(accept_downloads=True, downloads_path="./downloads")
    
    for page_url, xpath in your_database_records:
        page = context.new_page()
        page.goto(page_url)
        # 点击下载并等待完成
        with page.expect_download() as download_info:
            page.click(xpath)
        download = download_info.value
        # 保存到指定路径
        download.save_as(f"./downloads/{download.suggested_filename}")
        page.close()
    
    browser.close()

• 添加重试机制：针对网络波动或请求失败的情况，自动重试2-3次，避免任务中断。
• 控制并发数：如果用HTTP请求方案，可以用多线程/异步（比如aiohttp）提高速度，但注意不要并发过高导致被网站封禁。
• 提前清理缓存：如果复用浏览器实例，定期清理缓存和Cookie，避免内存溢出。

内容的提问来源于stack exchange，提问作者springcloudlearner