Oracle19c通过dblink向PostgreSQL15批量插入数据过慢问题排查

HS Agent（Oracle Heterogeneous Services）是导致本次跨库插入性能问题的核心原因，具体原因及优化手段如下：

核心原因 #

HS Agent作为Oracle与PostgreSQL之间的协议转换中间层，默认采用单条请求、单条提交的处理模式：每一条INSERT语句都需要完成「Oracle→HS Agent→PostgreSQL」的完整通信往返，同时还要做SQL语法、数据类型的双向转换，单条请求的开销被放大。而PostgreSQL本地插入、ODBC批量插入都是基于批量提交+预编译语句的优化逻辑，大幅减少了通信次数和协议转换开销，因此性能差距极大。

针对性优化手段 #

1. 强制使用批量绑定与批量提交 #

在Oracle端使用FORALL语句实现批量数据插入，将多条数据打包为单次请求发送给HS Agent，彻底减少通信往返次数。示例代码：

DECLARE
    TYPE id_collect IS TABLE OF NUMBER;
    TYPE name_collect IS TABLE OF VARCHAR2(100);
    v_ids id_collect := id_collect();
    v_names name_collect := name_collect();
BEGIN
    -- 从Oracle本地表批量加载数据到集合（可根据实际调整数据来源）
    SELECT id, name BULK COLLECT INTO v_ids, v_names 
    FROM oracle_local_table 
    WHERE rownum <= 100000;

    -- 批量插入到PostgreSQL跨库表
    FORALL i IN 1..v_ids.COUNT
        INSERT INTO postgres_target_table@pg_dblink (id, name) 
        VALUES (v_ids(i), v_names(i));
    COMMIT;
END;
/

注意：集合大小建议控制在1万-10万之间，避免Oracle内存占用过高。

2. 调整HS Agent配置参数 #

修改HS初始化文件init<your_hs_sid>.ora，启用批量加载支持并关闭不必要的跟踪：

# 启用批量加载
HS_FDS_BULK_LOAD_ENABLE=TRUE
# 关闭HS跟踪（减少日志开销）
HS_FDS_TRACE_LEVEL=OFF
# 如果使用ODBC连接PostgreSQL，确保连接字符串包含批量优化选项
HS_FDS_CONNECT_INFO=DRIVER={PostgreSQL ODBC Driver};SERVER=xxx;PORT=5432;DATABASE=xxx;UID=xxx;PWD=xxx;BATCHMODE=on

修改后重启HS Agent服务生效。

3. 禁用单条循环插入 #

绝对避免使用PL/SQL单条循环插入（如FOR i IN 1..100000 LOOP INSERT ... END LOOP;），这种方式会触发数万次HS通信往返，性能损耗呈指数级增长。

替代方案（若HS优化后仍不达标） #

如果上述优化后性能仍无法满足需求，可考虑绕过HS Agent的方案：

• 使用Oracle GoldenGate实现增量/全量数据同步，适合长期数据同步场景
• 将Oracle数据导出为CSV文件，通过PostgreSQL的COPY命令批量导入（性能接近本地插入）
• 用Python/Java编写中转程序，批量读取Oracle数据后调用PostgreSQL的批量插入接口

内容的提问来源于stack exchange，提问作者John Fisher