通过二进制传输优化PostgreSQL？C API二进制读写可行性与性能分析

一、读写二进制数据的实现方法 #

1. 查询（SELECT）获取二进制结果 #

默认PQexec返回文本格式结果，要获取二进制格式，需使用参数化查询接口（PQexecParams或PQprepare+PQexecPrepared），显式指定结果格式为二进制：

• 调用PQexecParams时，最后一个参数resultFormat设为1（代表二进制）；
• 若用预准备语句，PQprepare的resultFormat参数同样设为1，后续PQexecPrepared可复用该设置。

获取结果后，PQfformat会返回1（表示字段为二进制格式），通过PQgetvalue拿到原始二进制数据，再根据类型解析：

• INTEGER/BIGINT：二进制为网络字节序（大端），需用ntohl()/ntohll()转成本地字节序；
• UUID：直接返回16字节的原始二进制数据，无需额外解析（与RFC 4122定义的字节顺序一致）。

示例代码：

// 执行参数化查询，指定结果为二进制
PGresult *res = PQexecParams(conn,
                            "SELECT id, uuid_col FROM test WHERE id = $1",
                            1,
                            NULL,  // 让服务器自动推断参数类型
                            (const char*[]){"100"},
                            NULL,  // 文本参数可省略长度
                            (int[]){0},  // 参数为文本格式
                            1);  // 结果格式：1=二进制

if (PQresultStatus(res) != PGRES_TUPLES_OK) {
    fprintf(stderr, "查询失败: %s\n", PQerrorMessage(conn));
    PQclear(res);
    return;
}

// 解析INTEGER字段（二进制）
if (PQfformat(res, 0) == 1) {
    int32_t id;
    memcpy(&id, PQgetvalue(res, 0, 0), sizeof(id));
    id = ntohl(id);  // 转成本地字节序
    printf("ID: %d\n", id);
}

// 解析UUID字段（二进制）
if (PQfformat(res, 1) == 1) {
    unsigned char uuid[16];
    memcpy(uuid, PQgetvalue(res, 0, 1), 16);
    // 可将二进制UUID转为文本输出
    printf("UUID: %02x%02x%02x%02x-%02x%02x-%02x%02x-%02x%02x-%02x%02x%02x%02x%02x%02x\n",
           uuid[0], uuid[1], uuid[2], uuid[3],
           uuid[4], uuid[5], uuid[6], uuid[7],
           uuid[8], uuid[9], uuid[10], uuid[11],
           uuid[12], uuid[13], uuid[14], uuid[15]);
}

PQclear(res);

2. 插入（INSERT）发送二进制数据 #

插入二进制数据同样依赖参数化查询，需指定参数格式为二进制：

• 构造paramFormats数组，将对应参数的格式设为1；
• paramValues传入二进制数据的指针，paramLengths传入数据的字节长度；
• 数值类型（如INTEGER）需先转成网络字节序（用htonl()/htonll()）。

示例代码：

int32_t insert_id = 200;
insert_id = htonl(insert_id);  // 转为网络字节序
// 构造UUID二进制数据（示例值）
unsigned char insert_uuid[16] = {0x1a, 0x2b, 0x3c, 0x4d, 0x5e, 0x6f, 0x7a, 0x8b,
                                 0x9c, 0xad, 0xbe, 0xcf, 0x11, 0x22, 0x33, 0x44};

PGresult *res = PQexecParams(conn,
                            "INSERT INTO test (id, uuid_col) VALUES ($1, $2)",
                            2,
                            NULL,
                            (const char*[]){(char*)&insert_id, (char*)insert_uuid},
                            (int[]){sizeof(insert_id), 16},
                            (int[]){1, 1},  // 参数格式：1=二进制
                            0);  // 无需返回结果，设为文本格式即可

if (PQresultStatus(res) != PGRES_COMMAND_OK) {
    fprintf(stderr, "插入失败: %s\n", PQerrorMessage(conn));
}

PQclear(res);

二、性能提升验证 #

二进制传输确实能带来性能收益，核心原因是避免了文本与二进制的双向转换开销：

• CPU节省：服务器无需将内部二进制存储转成文本，客户端也无需解析文本转成二进制；对于INTEGER、UUID这类类型，文本转二进制的CPU开销不可忽视（比如UUID文本转二进制需要解析36个字符，而直接用16字节二进制无此步骤）；
• 带宽节省：INTEGER文本最多11字节，二进制仅4字节；UUID文本36字节，二进制仅16字节，数据量缩减明显，尤其在批量操作（如批量插入/导出大量数据）时效果显著。

注意：小数据量单次操作时，性能提升可能不明显——因为PostgreSQL协议的握手、数据包封装等固定开销占比更高，二进制传输的优势被稀释。

三、避免底层转译的关键 #

只要严格按照以下规则操作，就不会出现“二进制传输却被反复转译”的情况：

• 查询时，确保resultFormat设为1，服务器会直接返回内部存储的二进制数据（仅需处理字节序转换，这是网络传输的标准步骤，不属于文本转译）；
• 插入时，确保paramFormats对应参数设为1，服务器会直接将二进制数据写入存储，不会尝试解析为文本；
• 仅对原生二进制存储的类型（INTEGER、BIGINT、UUID、TIMESTAMP等）使用二进制传输，对于VARCHAR、TEXT这类本身以文本存储的类型，二进制传输无意义（传输内容与文本格式一致）。

内容的提问来源于stack exchange，提问作者rwallace