如何诊断Postgres与BigQuery间Java数据迁移的字符编码问题

问题分析 #

• Postgres中存储的SÅ‚awomir是双重UTF-8编码的结果：原本的ł（U+0142，UTF-8为C5 82）被错误转码为C2 82（对应U+0082），与Å（C3 85）组合成显示值SÅ‚awomir，Postgres返回length('SÅ‚awomir')=9符合字符数统计。
• 从BigQuery通过Java JDBC拉取时，驱动将U+0082（C2 82）替换为U+201A（E2 80 9A），导致最终插入新BigQuery表的字符值变更。

修复步骤 #

1. 强制JDBC驱动按原始UTF-8读取 #

修改BigQuery JDBC连接字符串，添加参数避免驱动自动替换字符：

jdbc:bigquery://https://www.googleapis.com/bigquery/v2:443;ProjectId=你的项目ID;OAuthType=0;StringType=STRING;UseUTF8=true;

2. 手动还原原始字节序列 #

若驱动仍存在字符替换，可在读取后通过字节操作还原原始值：

import java.nio.charset.StandardCharsets;

// 从JDBC结果集中读取的字符串
String fetchedStr = resultSet.getString("目标列名");

// 按UTF-8解码为字节数组，再重新编码为字符串，跳过驱动的字符替换逻辑
byte[] rawBytes = fetchedStr.getBytes(StandardCharsets.UTF_8);
String originalStr = new String(rawBytes, StandardCharsets.UTF_8);

3. 用BigQuery客户端库直接插入（推荐） #

避免JDBC驱动的编码干扰，使用官方客户端库直接传递原始字符串：

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.InsertAllRequest;
import com.google.cloud.bigquery.TableId;

BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();
TableId targetTable = TableId.of("你的项目ID", "数据集ID", "目标表名");

// 直接使用还原后的原始字符串插入
InsertAllRequest.RowToInsert row = InsertAllRequest.RowToInsert.of("唯一行ID", 
    Map.of("目标列名", originalStr));

InsertAllRequest insertRequest = InsertAllRequest.newBuilder(targetTable).addRow(row).build();
bigquery.insertAll(insertRequest);

4. 验证结果 #

• 查询新BigQuery表，执行LENGTH(目标列名)应返回9，与Postgres原始统计一致。
• 导出值用HEX编辑器查看，第二、三个字符的十六进制应为C3 85 C2 82，完全匹配Postgres原始值。

内容的提问来源于stack exchange，提问作者Joe