在PostgreSQL扩展中导入含psycopg2的Python模块失败求助

编写PostgreSQL的contrib扩展时，通过PyImport_ImportModule导入依赖psycopg2的Python模块，只要Python代码中包含import psycopg2，PyImport_ImportModule就返回NULL。

原代码 #

C代码 #

#include "Python.h"
#include "postgres.h"

PyRun_SimpleString("import sys");
PyRun_SimpleString("sys.path.append(\"%s\")", CODE_PATH);
PyObject *pModule = NULL;
pModule = PyImport_ImportModule(MODULE_NAME);
if (pModule == NULL)
{
    PyErr_Print();
    elog(ERROR, "could not import module %s", code_file_name);
}

Python代码 #

from typing import List
import psycopg2

# Global variables
CONNECTIONS = {}
CURSORS = {}
EXECUTED = {}


def init_connection(id: int):
    global CONNECTIONS, CURSORS, EXECUTED
    # Initialize the connection to the remote database with the given id if it does not exist
    if id not in CURSORS:
        CONNECTIONS[id] = psycopg2.connect(
            host="127.0.0.1",
            port=5432,
            user="lucky",
            password="",
            database="test",
        )
        CURSORS[id] = CONNECTIONS[id].cursor()
        EXECUTED[id] = False


def get_remote_tuple(query: str, id: int) -> List[str]:
    global CURSORS, EXECUTED

    # find the result set of query with the given id
    # if it exists, return the next tuple
    # otherwise, execute the query and store the result set in the dictionary

    if id not in CURSORS:
        init_connection(id)
    cursor = CURSORS[id]
    if not EXECUTED[id]:
        cursor.execute(query)
        EXECUTED[id] = True

    result = cursor.fetchone()
    if result is None:
        del CONNECTIONS[id]
        del CURSORS[id]
        del EXECUTED[id]
        return None
    return list(map(str, result))


def reset_remote_tuple(query: str, id: int):
    global CURSORS, EXECUTED
    # reset the result set of query with the given id
    # if it exists, clear the result set and execute the query again
    # otherwise, execute the query
    if id not in CURSORS:
        init_connection(id)
    cursor = CURSORS[id]
    if not EXECUTED[id]:
        cursor.execute(query)
        EXECUTED[id] = True
    else:
        cursor.fetchall()
        cursor.execute(query)


def format_transform(value: str, type: int) -> str:
    # Implement the transformation logic here
    # based on the target database format
    return value

• Python环境不匹配：psycopg2是C扩展模块，与特定Python版本、架构强绑定。如果PostgreSQL进程链接的Python库和安装psycopg2的Python版本不一致，会直接导致导入失败。
• 路径添加错误：PyRun_SimpleString不支持格式化参数，原代码中sys.path.append("%s")的写法没有实际替换CODE_PATH，导致目标模块路径未正确添加；此外psycopg2所在的site-packages目录可能不在PostgreSQL的Python环境的sys.path中。
• 权限不足：PostgreSQL运行用户（通常是postgres用户）没有权限访问psycopg2的安装目录或其动态链接库文件。
• libpq符号冲突：psycopg2内部依赖libpq库，而PostgreSQL进程本身已链接libpq，若两者版本或符号定义冲突，会导致psycopg2初始化失败。

1. 统一Python环境 #

• 确认PostgreSQL使用的Python版本：在C代码中添加elog(INFO, "Python version: %s", Py_GetVersion());查看，或通过pg_config --configure检查编译时指定的Python路径。
• 使用对应版本的pip安装psycopg2：找到PostgreSQL绑定的Python解释器路径（如/usr/lib/postgresql/15/bin/python3），运行/usr/lib/postgresql/15/bin/python3 -m pip install psycopg2-binary（psycopg2-binary无需系统libpq依赖，适合快速测试）。

2. 修复sys.path添加逻辑 #

原代码中PyRun_SimpleString的格式化写法无效，改用Python C API的正规方法添加路径：

#include "Python.h"
#include "postgres.h"

// 正确添加路径到sys.path
PyObject *sys_module = PyImport_ImportModule("sys");
if (sys_module == NULL) {
    PyErr_Print();
    elog(ERROR, "could not import sys module");
}

PyObject *path_list = PyObject_GetAttrString(sys_module, "path");
if (path_list == NULL) {
    PyErr_Print();
    Py_DECREF(sys_module);
    elog(ERROR, "could not get sys.path");
}

// 添加目标模块所在路径
PyObject *code_path = PyUnicode_FromString(CODE_PATH);
if (code_path == NULL) {
    PyErr_Print();
    Py_DECREF(path_list);
    Py_DECREF(sys_module);
    elog(ERROR, "could not create code path string");
}

if (PyList_Append(path_list, code_path) == -1) {
    PyErr_Print();
    Py_DECREF(code_path);
    Py_DECREF(path_list);
    Py_DECREF(sys_module);
    elog(ERROR, "could not append path to sys.path");
}

// 释放引用
Py_DECREF(code_path);
Py_DECREF(path_list);
Py_DECREF(sys_module);

// 导入目标模块
PyObject *pModule = PyImport_ImportModule(MODULE_NAME);
if (pModule == NULL)
{
    PyErr_Print();
    elog(ERROR, "could not import module %s", code_file_name);
}

若psycopg2不在默认site-packages中，需将其所在目录也添加到sys.path。

3. 检查权限 #

切换到postgres用户，运行对应Python解释器尝试import psycopg2，若报错权限不足，调整psycopg2安装目录及文件的权限（如设置chmod -R 755 /path/to/psycopg2）。

4. 规避libpq冲突 #

• 替代方案：无需依赖psycopg2，直接使用PostgreSQL内部的libpq API（如PQconnectdb）连接远程数据库，避免重复链接libpq导致的冲突。
• 编译调整：若必须使用psycopg2，确保其使用的libpq版本与PostgreSQL一致，或编译psycopg2时静态链接libpq（复杂度较高）。

内容的提问来源于stack exchange，提问作者lucky