使用Golang Copy导入PostgreSQL时处理特殊字符的简便方案

一、直接保留特殊字符的核心方案 #

导入失败的本质几乎都是编码不匹配——要么你的文本文件编码和PostgreSQL数据库/表的编码不一致，要么文本里包含当前编码无法解析的无效字符序列。

1. 检查并统一编码 #

首先确认你的数据库、目标表的编码设置：

• 查数据库编码：

  SELECT datname, encoding FROM pg_database WHERE datname = '你的数据库名';
  

  正常应该返回UTF8（PostgreSQL默认编码，支持绝大多数非ASCII字符）。如果是其他编码（比如SQL_ASCII），建议转成UTF8（操作前务必备份数据）。
• 查表的字符集配置：

  SELECT relname, pg_get_expr(reloptions, oid) FROM pg_class WHERE relname = '你的表名';
  

  确保表的字符集为UTF8，text或varchar类型的列默认继承表的编码设置。

2. Golang端确保输入编码正确 #

读取文本文件时，要保证传给PostgreSQL Copy 接口的是合法的UTF8字节流：

• 如果文件本身是UTF8编码，直接读取即可；如果是其他编码（比如GBK、GB2312），需要先转成UTF8再导入。
• 可以在Golang里提前过滤无效的UTF8字符，示例代码：

  import "unicode/utf8"
  
  func cleanInvalidUTF8(input string) string {
      var output []rune
      for _, r := range input {
          if r != utf8.RuneError {
              output = append(output, r)
          } else {
              // 把无效字符替换成?，也可以换成空字符串
              output = append(output, '?')
          }
      }
      return string(output)
  }
  

  读取每行文本后先调用这个函数处理，再写入Copy的输入流。

3. 导入时明确指定编码 #

使用Copy命令时，显式声明编码，避免PostgreSQL自动识别出错：

COPY your_table (col1, col2) FROM STDIN WITH (FORMAT csv, ENCODING 'UTF8');

二、PostgreSQL端的文本验证/清理函数 #

如果需要在数据库端提前验证或清理文本，可以用以下PL/pgSQL函数：

1. 验证文本是否合法 #

这个函数会检查字符串是否能被当前数据库编码解析，返回布尔值：

CREATE OR REPLACE FUNCTION is_valid_text(text_val text) RETURNS boolean AS $$
BEGIN
  PERFORM convert_to(text_val, current_setting('server_encoding'));
  RETURN true;
EXCEPTION
  WHEN OTHERS THEN
    RETURN false;
END;
$$ LANGUAGE plpgsql IMMUTABLE;

用法：筛选出包含无效字符的行

SELECT * FROM your_temp_table WHERE is_valid_text(target_col) = false;

2. 自动清理无效字符 #

这个函数会尝试保留合法字符，把无效序列替换成?（可自定义替换字符）：

CREATE OR REPLACE FUNCTION sanitize_text(text_val text) RETURNS text AS $$
BEGIN
  RETURN convert_from(convert_to(text_val, current_setting('server_encoding')), current_setting('server_encoding'));
EXCEPTION
  WHEN OTHERS THEN
    -- 替换所有非ASCII或无效字符为?，可调整正则表达式规则
    RETURN regexp_replace(text_val, '[^\x00-\x7F]', '?', 'g');
END;
$$ LANGUAGE plpgsql IMMUTABLE;

用法：导入前批量清理数据

UPDATE your_temp_table SET target_col = sanitize_text(target_col);

三、避免事务失败的小技巧 #

如果导入时不想因为个别行的错误导致整个事务回滚，可以使用ON_ERROR_ROLLBACK参数，让PostgreSQL跳过错误行继续导入，同时将错误信息记录到日志（需开启日志功能）：

COPY your_table FROM STDIN WITH (FORMAT csv, ON_ERROR_ROLLBACK=1);

内容的提问来源于stack exchange，提问作者Raul Cejas