使用pyo3::types::PyIterator时内存无限增长的解决方案咨询

你遇到的问题本质是PyIterator返回的&'a PyAny引用绑定到了GIL的生命周期'a，这些对象的引用计数会被保持到函数执行完毕，所以迭代过程中内存会持续累积。下面是两种可行的解决策略：

1. 转为拥有所有权的Py<PyAny>（推荐，无需unsafe） #

将迭代得到的&PyAny转换为Py<PyAny>类型，它会在每次循环结束时自动减少引用计数，让Python垃圾回收器可以及时回收对象。修正后的代码如下：

/// Construct a `Foo` from an iterator
#[staticmethod]
fn from_iter(iter: &pyo3::types::PyIterator) -> PyResult<Self> {
    let mut foo = Self::new()?; // 修正原代码的语法错误：将for改为let
    for obj_result in iter {
        let obj = obj_result?;
        // 将引用转为拥有所有权的Py<PyAny>
        let owned_obj = obj.into_py(iter.py());
        foo.bar(&owned_obj)?;
        // 循环结束后owned_obj离开作用域，自动调用Py_DECREF减少引用计数
    }
    Ok(foo)
}

原理是Py<T>是PyO3中拥有Python对象所有权的类型，当它被销毁时会自动调用Python的Py_DECREF，对应的对象引用计数降低后，只要没有其他引用，就会被Python GC及时回收，避免内存持续增长。

2. 手动调用引用计数减少（仅特殊场景使用，需unsafe） #

如果需要在循环内立即回收对象，可以使用PyAny::dec_ref()的unsafe方法，但必须确保该对象没有其他活跃引用，否则会导致内存安全问题。示例如下：

/// Construct a `Foo` from an iterator
#[staticmethod]
fn from_iter(iter: &pyo3::types::PyIterator) -> PyResult<Self> {
    let mut foo = Self::new()?;
    for obj_result in iter {
        let obj = obj_result?;
        foo.bar(obj)?;
        // 手动减少引用计数，unsafe操作需确保无其他引用
        unsafe {
            obj.dec_ref();
        }
    }
    Ok(foo)
}

注意：这种方法需要格外谨慎，因为&PyAny原本的引用计数是由PyO3管理的，手动调用dec_ref()可能导致重复释放或悬垂引用，除非你明确知道该对象没有其他持有者，否则优先使用第一种方法。

内容的提问来源于stack exchange，提问作者user2722968