使用libpq二进制格式插入PostgreSQL遇UTF8编码错误的解决咨询

问题本质 #

你遇到的invalid byte sequence for encoding "UTF8": 0x00错误，核心是三个关键问题：

1. 二进制参数未指定长度：libpq在二进制模式下必须通过paramLengths明确每个参数的字节长度。直接将int地址转为char*后，libpq会默认按C字符串规则（以0x00为结束符）计算长度，而大端序的1是0x00 0x00 0x00 0x01，前三个字节的0x00会被误判为字符串结束，导致参数被截断为空，进而破坏varchar字段的格式解析，触发编码错误。
2. 参数索引越界：$1/$2/$3对应paramValues数组的第0/1/2位，你写的paramValues[3]属于越界访问，会引发未定义行为。
3. varchar二进制格式错误：PostgreSQL的varchar在二进制模式下，要求先传递4字节大端序的字符串长度，再传递内容（不能带0x00终止符），直接传字符串指针不符合格式要求。

可行解决方案 #

方案1：正确配置二进制模式参数

如果坚持用二进制插入，需完整设置paramLengths、paramFormats，并严格遵循PostgreSQL的二进制类型规则构造参数：

// 初始化3个参数的数组（对应$1/$2/$3）
const char* paramValues[3];
int paramLengths[3];
int paramFormats[3];
Oid paramTypes[3] = {INT2OID, VARCHAROID, INT4OID};

// 处理serverid（smallint，2字节大端）
int16_t server_val = boost::endian::native_to_big(static_cast<int16_t>(100));
paramValues[0] = reinterpret_cast<const char*>(&server_val);
paramLengths[0] = sizeof(server_val);
paramFormats[0] = 1; // 1代表二进制模式

// 处理ipaddress（varchar，二进制格式：4字节大端长度 + 字符串内容）
std::string ip = "192.168.1.100";
int32_t ip_len = boost::endian::native_to_big(static_cast<int32_t>(ip.size()));
// 构造缓冲区：先存长度，再存字符串内容
std::vector<char> ip_buf(sizeof(ip_len) + ip.size());
std::memcpy(ip_buf.data(), &ip_len, sizeof(ip_len));
std::memcpy(ip_buf.data() + sizeof(ip_len), ip.data(), ip.size());
paramValues[1] = ip_buf.data();
paramLengths[1] = ip_buf.size();
paramFormats[1] = 1;

// 处理portid（integer，4字节大端）
int32_t port_val = boost::endian::native_to_big(static_cast<int32_t>(8080));
paramValues[2] = reinterpret_cast<const char*>(&port_val);
paramLengths[2] = sizeof(port_val);
paramFormats[2] = 1;

// 调用PQexecParams执行插入
PGresult* res = PQexecParams(conn,
                            "insert into client_data (serverid,ipaddress,portid) values ($1,$2,$3)",
                            3,
                            paramTypes,
                            paramValues,
                            paramLengths,
                            paramFormats,
                            0); // 0表示结果用文本格式，按需调整

方案2：使用文本模式插入（你提到的方法）

将所有参数转为字符串，ParamFormats全部设为0（文本模式），无需处理大端序和二进制格式，代码更简洁：

const char* paramValues[3] = {"100", "192.168.1.100", "8080"};
int paramFormats[3] = {0, 0, 0}; // 0代表文本模式

PGresult* res = PQexecParams(conn,
                            "insert into client_data (serverid,ipaddress,portid) values ($1,$2,$3)",
                            3,
                            nullptr, // 文本模式下可省略paramTypes，PostgreSQL会自动解析
                            paramValues,
                            nullptr, // 文本模式下可省略paramLengths
                            paramFormats,
                            0);

内容的提问来源于stack exchange，提问作者Rakesh Mehta