Python C扩展如何访问PyInterpreterState内部数据结构？

问题本质 #

PyInterpreterState是Python定义的不透明结构体，其内部成员（如obmalloc）属于Python核心私有API，仅在Python内部实现中可见。外部C扩展无法直接包含内部头文件（如internal/pycore_interp.h）或访问这些成员，否则会触发编译错误，同时也会导致扩展与Python版本强绑定，兼容性极差。

可行解决方案 #

1. 优先使用官方公开API替代 #

Python提供了大量公开C API来替代直接访问内部结构体成员的需求，这是最安全且推荐的方式：

• 如果需要内存分配功能：使用PyMem_Malloc()、PyMem_Free()等公开内存管理API，无需直接访问obmalloc成员。
• 如果需要线程状态相关操作：使用PyThreadState_Get()、PyThreadState_Swap()等公开接口，而非直接操作interp->tstate_head。
• 对于其他需求，先查阅Python官方C API文档，确认是否有对应的公开接口可用。

2. 通过Python层面间接获取信息 #

若某些信息无法通过公开C API获取，可以在C扩展中调用Python代码间接获取：

#define PY_SSIZE_T_CLEAN
#include <Python.h>

static PyObject *
mymodule_get_details(PyObject *self, PyObject *args)
{
    // 导入sys模块
    PyObject *sys_module = PyImport_ImportModule("sys");
    if (!sys_module) {
        return NULL;
    }
    // 获取sys中的相关属性（示例：获取解释器版本）
    PyObject *version = PyObject_GetAttrString(sys_module, "version");
    Py_DECREF(sys_module);
    if (!version) {
        return NULL;
    }
    // 处理获取到的信息
    // ...
    return version;
}

3. （不推荐）定义结构体镜像（风险极高） #

如果必须访问内部成员，可以自行定义与struct _is结构一致的镜像结构体，但仅适用于特定Python版本，且Python版本更新后大概率失效：

#define PY_SSIZE_T_CLEAN
#include <Python.h>

// 需严格匹配目标Python版本中pycore_interp.h的struct _is定义
struct _is_mirror {
    struct _is_mirror *next;
    struct _is_mirror *prev;
    PyThreadState *tstate_head;
    // ... 省略其他成员，直到obmalloc所在位置
    void *obmalloc;
    // ... 后续成员
};

static PyObject *
mymodule_get_details(PyObject *self, PyObject *args)
{
    PyInterpreterState *interp = PyInterpreterState_Get();
    // 强制转换为镜像结构体
    void *obmalloc = ((struct _is_mirror *)interp)->obmalloc;
    // ... 后续处理
    Py_RETURN_NONE;
}

注意：此方法会导致扩展与特定Python版本强绑定，一旦Python内部结构变更，扩展会出现崩溃或未定义行为，官方完全不提供支持。

4. （不推荐）编译时启用Py_BUILD_CORE #

可以在编译时添加-DPy_BUILD_CORE宏，从而允许包含内部头文件，但这会将扩展绑定到Python核心实现细节：

# 编译命令示例
gcc -shared -fPIC -I/usr/include/python3.10 -DPy_BUILD_CORE mymodule.c -o mymodule.so

然后在代码中包含内部头文件：

#define PY_SSIZE_T_CLEAN
#define Py_BUILD_CORE
#include <Python.h>
#include <internal/pycore_interp.h>

static PyObject *
mymodule_get_details(PyObject *self, PyObject *args)
{
    PyInterpreterState *interp = PyInterpreterState_Get();
    void *obmalloc = interp->obmalloc;
    // ... 后续处理
    Py_RETURN_NONE;
}

注意：此方法违反Python扩展开发规范，私有API随时可能变更，扩展无法保证跨版本兼容性，不建议用于生产环境。

总结 #

始终优先使用Python官方公开的C API来实现需求，避免直接操作内部结构体成员，这是保证扩展兼容性和稳定性的唯一可靠方式。

内容的提问来源于stack exchange，提问作者Natarich J