如何用Cython优化带隐式类实现的Python对象性能？

我有如下Python类：

class A():
    def __init__(self,python_object):
        self.my_python_object = python_object
        
    def my_function(self):
        for item in self.my_python_object.getItems():
            item.do_something()

上述类中，初始传入的python_object实例的实现/类未知，我通过API获取该对象，代码主要围绕调用该API对象的方法展开。我编写的Cython实现如下：

cdef class A():
    cdef public object my_python_object
    def __init__(self,python_object):
        self.my_python_object = python_object
        
    cdef void my_function(self):
        cdef object item
        for item in self.my_python_object.getItems():
            item.do_something()

由于该对象不是原始类型，Cython/C优化未达预期（我认为是因为将变量定义为object类型在性能提升层面和未定义无异），大量Python/C API调用导致程序整体性能下降。

是否存在方法让Cython知晓或定义某种虚拟结构，指定python_object具备特定方法及返回值类型，无需知晓其原始类结构，以此减少Python/C API调用？

当然可以，Cython的**协议（Protocol）**机制就是专门解决这类问题的——它支持基于鸭子类型的静态类型声明，无需依赖具体类结构，就能让Cython识别对象的方法签名并生成优化的C代码。

1. 定义协议类 #

先声明两个协议，分别对应python_object和其返回的item需要实现的方法与类型：

# 定义item需要遵循的协议
cdef protocol ItemProtocol:
    cpdef void do_something(self)

# 定义python_object需要遵循的协议
cdef protocol ObjectProtocol:
    cpdef list getItems(self)  # 根据实际返回值调整类型，比如迭代器可写为iter

协议仅规定方法签名和返回类型，不包含具体实现，相当于一种虚拟接口。

2. 用协议类型替换object声明 #

修改你的Cython类，把原本的object类型替换为协议类型：

cdef class A():
    cdef public ObjectProtocol my_python_object  # 用协议类型声明成员变量
    def __init__(self, ObjectProtocol python_object):  # 构造函数参数也指定协议类型
        self.my_python_object = python_object
        
    cdef void my_function(self):
        cdef ItemProtocol item  # 用协议声明循环中的item
        for item in self.my_python_object.getItems():
            item.do_something()

3. 优化效果说明 #

• 编译时，Cython会直接解析协议方法的调用路径，避免每次调用都通过Python/C API做动态方法查找，大幅减少跨层调用开销。
• 运行时仅会在初始化时做一次协议兼容性检查，若传入对象不满足协议要求（比如缺少getItems方法），会直接抛出类型错误，和Python的鸭子类型检查逻辑一致，但性能损耗仅发生一次。
• 如果getItems返回的不是list而是自定义迭代器，可以把协议中的返回类型改为iter，或者进一步定义迭代器协议来做更精准的优化。

替代方案：基于cdef类的继承（需外部配合） #

如果API提供方愿意配合，也可以让他们的类继承你定义的cdef基类：

cdef class BaseObject:
    cpdef list getItems(self):
        raise NotImplementedError

cdef class BaseItem:
    cpdef void do_something(self):
        raise NotImplementedError

之后在你的Cython类中直接用BaseObject和BaseItem作为类型声明，这种方式优化效果更彻底，但依赖外部类的修改，灵活性不如协议。

内容的提问来源于stack exchange，提问作者daniel