Python中如何将上下文管理器封装为装饰器实现Selenium无头爬虫？

1. 直接使用未定义的driver是否合理？ #

完全不合理。driver（或者你装饰器里的wd）是装饰器内部函数start的局部变量，被装饰的scrape_abc、scrape_xyz在自身作用域中无法访问这个变量，运行时会直接触发NameError。

2. 原方案是否可行？ #

不可行，核心问题就是作用域隔离导致被装饰函数无法获取WebDriver实例。此外原装饰器还有两处明显问题：

• 装饰器是普通函数，却使用了self.options，会触发NameError；
• disp定义在装饰器外层，多次调用被装饰函数时会复用同一个Display实例，容易引发资源冲突或异常。

3. 是否符合Python风格？ #

不符合。Python遵循“显式优于隐式”的核心风格原则，原写法试图让被装饰函数隐式访问装饰器内部的资源，逻辑断裂且可读性差，同时存在作用域错误，完全不符合Python的编码规范。

改进后的可行方案 #

我们可以让装饰器将WebDriver实例作为参数传递给被装饰函数，同时修正原装饰器的其他问题：

改进后的装饰器代码 #

from typing import Callable
from pyvirtualdisplay import Display
from selenium import webdriver
from selenium.webdriver.common.by import By

def open_headless_browser(func: Callable) -> Callable:
    def wrapper(*args, **kwargs) -> None:
        # 每次调用都创建新的Display和WebDriver实例，避免复用冲突
        with Display(visible=False, size=(100, 100)) as disp:
            options = webdriver.ChromeOptions()
            options.add_argument("--headless=new")
            options.add_argument("--dns-prefetch-disable")
            with webdriver.Chrome(options=options) as driver:
                # 将driver作为第一个参数传给被装饰函数，同时保留原函数的参数
                func(driver, *args, **kwargs)
    return wrapper

爬取脚本写法 #

@open_headless_browser
def scrape_abc(driver: webdriver.Chrome, url_abc: str) -> None:
    driver.get(url_abc)
    # 注意：Selenium 4+已弃用find_elements_by_xpath这类方法，建议使用新API
    driver.find_elements(By.XPATH, 'abc')

@open_headless_browser
def scrape_xyz(driver: webdriver.Chrome, url_xyz: str) -> None:
    driver.get(url_xyz)
    driver.find_elements(By.CSS_SELECTOR, 'xyz')

方案优势 #

• 遵循“显式传递依赖”原则，被装饰函数明确接收WebDriver实例，逻辑清晰；
• 每次调用被装饰函数都创建新的Display和WebDriver实例，避免资源复用问题；
• 修正了原装饰器的语法错误，适配Python 3.10和Selenium 4.15的版本要求。

内容的提问来源于stack exchange，提问作者lollerskates