Node.js向PostgreSQL插入250KB随机bytea数据报错求助

问题原因 #

你的代码存在两个关键问题：

• Buffer拼接方式错误：用+拼接两个Buffer时，Node.js会自动将Buffer转为字符串再拼接，最终传入pg库的是字符串而非二进制Buffer。PostgreSQL会尝试将这个字符串按UTF8编码解析，而随机生成的字节中可能包含0x00或其他不符合UTF8规范的字节，触发invalid byte sequence for encoding "UTF8"错误。
• 未显式指定参数类型：pg库默认的类型自动推断逻辑，会把字符串参数错误映射，无法匹配bytea类型，进而导致invalid input syntax for type bytea错误。

修复后的代码 #

'use strict';

const pg = require('pg');
const randomBytes = require('randombytes');

const pool = new pg.Pool({
  host: 'xxx',
  user: 'postgres',
  password: 'xxxx',
  database: 'mydb',
  max: 20,
  idleTimeoutMillis: 3000,
});

async function run() {
  for (let i = 0; i < 100000; i++) {
    await new Promise(done => setTimeout(done, 100));
    
    const client = await pool.connect();
    try {
      // 用Buffer.concat正确拼接二进制数据，得到完整的250KB Buffer
      const contentBuffer = Buffer.concat([
        randomBytes(8),
        Buffer.alloc(249992, 1)
      ]);
      
      // 显式指定参数类型为bytea，确保pg库正确识别处理
      await client.query(
        'insert into entries(content) values($1)',
        [contentBuffer],
        { types: { 1: pg.types.builtins.BYTEA } }
      );
      
      console.log(`Current row ${i}!`);
    } catch (error) {
      console.error(`Insert failed at row ${i}:`, error);
    } finally {
      client.release();
    }
  }
}

run().catch(console.error);

额外优化建议 #

• 减少连接频繁创建释放：可以提前获取连接，批量执行插入后再释放，提升整体性能。
• 增强错误韧性：捕获错误后仅记录不抛出，避免单个插入失败导致整个程序崩溃。
• 保持参数化查询：你当前的参数化查询方式能有效避免SQL注入风险，建议继续保持。

内容的提问来源于stack exchange，提问作者Shichao Dong