如何用pybind11绑定返回引用的函数？容器元素修改失效求助

问题场景 #

使用pybind11绑定C++代码时，Container类的operator[]返回Element的引用，但在Python中修改返回对象的成员时，实际操作的是临时副本，原容器内的元素并未变更。

C++代码实现 #

struct Data {
    double value1;
    double value2;
};

class Element {
 public:
    Element() = default;
    Element(Data values) : data(values) { }
    Element(const Element& other) : data(other.data) { printf("copying from %p\n", &other); }

    Data data;
};

class Container {
 public:
    Container() : data(10, Element(Data{0.1, 0.2})) {};

    Element& operator[](size_t idx) { return data[idx]; }
    const Element& operator[](size_t idx) const { return data[idx]; }

 protected:
    std::vector<Element> data;
};

原绑定代码 #

py::class_<Data>(module, "Data")
    .def(py::init<double, double>(), "Constructs a new instance", "v1"_a, "v2"_a)
    .def_readwrite("value1", &Data::value1)
    .def_readwrite("value2", &Data::value2);

py::class_<Element>(module, "Element")
    .def(py::init<Data>(), "Constructs a new instance", "values"_a)
    .def_readwrite("data", &Element::data)
    .def("__repr__", [](const Element& e){ return std::to_string(e.data.value1); });

py::class_<Container>(module, "Container")
    .def(py::init<>(), "Constructs a new instance")
    .def("__getitem__", [](Container& c, size_t idx) { return c[idx]; }, "idx"_a)
    .def("__setitem__", [](Container& c, size_t idx, Element e) { c[idx] = e; }, "idx"_a, "val"_a);

Python测试中的异常现象 #

print("-------------")
foo = module.Data(0.9, 0.8)
print(foo.value2)
foo.value2 = 0.7    # 正常生效
print(foo.value2)

print("-------------")
e = module.Element(module.Data(0.3, 0.2))
print(e.data.value1)
e.data.value2 = 0.6    # 正常生效
print(e.data.value2)
e.data = foo           # 正常生效
print(e.data.value2)

print("-------------")
c = module.Container()
print(c[0].data.value1)
c[0] = e                   # 正常生效
print(c[0].data.value1)
c[0].data = foo            # 不生效，操作的是副本
print(c[0].data.value1)
c[0].data.value1 = 0.0     # 不生效，操作的是副本
print(c[0].data.value1)

已尝试的无效方法 #

• 为Element类绑定声明std::shared_ptr<Element>持有者类型
• 为__getitem__指定py::return_value_policy::reference和py::return_value_policy::reference_internal返回值策略
• 指定py::keep_alive<0,1>()和py::keep_alive<1,0>()调用策略

解决方案 #

核心问题在于原__getitem__的lambda表达式返回的是Element值（触发拷贝），而非引用类型。需要修改绑定代码，确保返回引用并正确配置生命周期管理：

修改后的Container绑定代码 #

py::class_<Container>(module, "Container")
    .def(py::init<>(), "Constructs a new instance")
    // 直接绑定operator[]，并指定返回值策略和存活期管理
    .def("__getitem__", &Container::operator[], 
         py::return_value_policy::reference_internal, 
         py::keep_alive<0, 1>(), 
         "idx"_a)
    .def("__setitem__", [](Container& c, size_t idx, const Element& e) { c[idx] = e; }, "idx"_a, "val"_a);

或者如果坚持使用lambda，需明确返回引用类型：

.def("__getitem__", [](Container& c, size_t idx) -> Element& { return c[idx]; }, 
     py::return_value_policy::reference_internal, 
     py::keep_alive<0,1>(), 
     "idx"_a)

关键说明 #

• py::return_value_policy::reference_internal：告知pybind11返回的引用属于容器内部对象，无需拷贝，且容器存活期间引用有效
• py::keep_alive<0, 1>()：确保返回的Element对象（第0个参数）持有Container（第1个参数）的引用，防止容器被Python垃圾回收导致引用失效
• __setitem__的参数改为const Element&可避免不必要的拷贝，优化性能

修改后，Python中对c[0].data的修改会直接作用于容器内的原始元素，问题解决。

内容的提问来源于stack exchange，提问作者joaocandre