使用PyO3闭包实现参数化装饰器的生命周期错误排查

我在学习PyO3时，尝试用闭包实现参数化装饰器（之前已用嵌套类实现可运行版本，现在想通过闭包加深对生命周期的理解，此前用C++ lambda实现过类似功能）。

我的无参数装饰器代码可正常运行：

#[pyfunction]
pub fn exectime(py: Python, wraps: PyObject) -> PyResult<&PyCFunction> {
    PyCFunction::new_closure(
        py, None, None,
        move |args: &PyTuple, kwargs: Option<&PyDict>| -> PyResult<PyObject> {
            Python::with_gil(|py| {
                let now = Instant::now();
                let ret = wraps.call(py, args, kwargs);
                println!("elapsed (ms): {}", now.elapsed().as_millis());
                ret
            })
        }
    )
}

注意这里需要用Python::with_gil包裹捕获的py才能正常运行。但扩展为嵌套装饰器时，写出的代码出现生命周期错误：

#[pyfunction]
pub fn average_exectime(py: Python, n: usize) -> PyResult<&PyCFunction> {
    let f = move |args: &PyTuple, _kwargs: Option<&PyDict>| -> PyResult<&PyCFunction> {
        Python::with_gil(|py| {
            let wraps: PyObject = args.get_item(0)?.into();
            let g = move |args: &PyTuple, kwargs: Option<&PyDict>| -> PyResult<PyObject> {
                Python::with_gil(|py| {
                    let now = Instant::now();
                    for _ in 0..n-1 {
                        wraps.call(py, args, kwargs);
                    }
                    let ret = wraps.call(py, args, kwargs);
                    println!("elapsed (ms): {}", now.elapsed().as_millis());
                    ret
                })
            };
            PyCFunction::new_closure(py, None, None, g)
        })
    };
    PyCFunction::new_closure(py, None, None, f)
}

编译器报错：

error: lifetime may not live long enough ] 44/45: poetry-rust-integration
  --> src/decorator.rs:48:13
   |
35 |         Python::with_gil(|py| {
   |                           --- return type of closure is Result<&'2 pyo3::types::PyCFunction, pyo3::PyErr>
   |                           |
   |                           has type `pyo3::Python<'1>`
...
48 |             PyCFunction::new_closure(py, None, None, g)
   |             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ returning this value requires that `'1` must outlive `'2`


    Building [=========================> ] 44/45: poetry-rust-integration                                                                                                                              error: aborting due to previous error

我尝试添加各种生命周期参数都没解决，反而出现更多错误。想知道为什么编译器认为内部生命周期必须长于外部？是否只需告知编译器两者生命周期相同？如果是该怎么实现？

解答 #

问题根源 #

编译器报错的核心原因：PyCFunction::new_closure返回的&PyCFunction引用，其生命周期绑定于传入的Python<'a>实例的生命周期'a。但代码中内部Python::with_gil创建的py实例（生命周期'1），和返回的PyCFunction引用的生命周期'2，编译器无法确认'1能覆盖'2——因为with_gil的闭包执行完毕后，内部的py会被销毁，而返回的引用却试图绑定到这个已销毁实例的生命周期。

另外，闭包内部不需要重复调用Python::with_gil：PyO3在调用闭包时已经持有GIL，闭包参数里的args和kwargs都是在GIL上下文下的引用，直接使用即可。

修复后的代码 #

use pyo3::prelude::*;
use std::time::Instant;

#[pyfunction]
pub fn average_exectime(py: Python<'_>, n: usize) -> PyResult<&PyCFunction> {
    PyCFunction::new_closure(py, None, None, move |args: &PyTuple, _kwargs: Option<&PyDict>| -> PyResult<&PyCFunction> {
        let wraps: PyObject = args.get_item(0)?.into();
        // 无需再调用Python::with_gil，当前闭包执行时已持有GIL
        PyCFunction::new_closure(py, None, None, move |args: &PyTuple, kwargs: Option<&PyDict>| -> PyResult<PyObject> {
            let now = Instant::now();
            // 用saturating_sub避免n=0时出现负数循环次数
            for _ in 0..n.saturating_sub(1) {
                wraps.call(py, args, kwargs)?;
            }
            let ret = wraps.call(py, args, kwargs)?;
            println!("elapsed (ms): {}", now.elapsed().as_millis());
            Ok(ret)
        })
    })
}

关键修复点 #

1. 移除多余的Python::with_gil调用：PyO3调用PyCFunction闭包时已保证持有GIL，闭包内部可直接使用外层的py实例，其生命周期足够覆盖内层闭包。
2. 生命周期绑定：外层PyCFunction::new_closure使用的py来自函数参数的Python<'_>，其生命周期由Python解释器保证，足够支撑装饰器的整个生命周期。内层闭包捕获的wraps是拥有所有权的PyObject，n是Copy类型，可安全被PyCFunction持有。
3. 处理边界情况：用n.saturating_sub(1)替代n-1，避免n=0时出现无效的负数循环次数。

补充说明 #

如果确实需要手动获取GIL（比如闭包内有异步操作），应使用Python::acquire_gil()而非with_gil，但装饰器场景下完全不需要——PyO3的装饰器调用链全程处于GIL上下文。

内容的提问来源于stack exchange，提问作者virgesmith