如何实现Exasol到PostgreSQL的并行数据导出？

要让Exasol导出数据到PostgreSQL时使用并行插入，需从Exasol连接配置、导出语句参数以及PostgreSQL端适配三个维度调整，具体操作如下：

1. 修改Exasol到PostgreSQL的连接配置 #

在创建连接的JDBC URL中添加批量处理和并行相关参数，优化驱动行为并指定并行度：

create or replace connection POSTGRES_DB to
    'jdbc:postgresql://hostname:5432/my_db?useCursorFetch=true&defaultFetchSize=2147483648&batchMode=true&rewriteBatchedStatements=true&EXA_PARALLEL=4'
    user 'abc'
    identified by '<your_password>';

参数说明：

• batchMode=true：启用PostgreSQL JDBC驱动的批量插入模式
• rewriteBatchedStatements=true：驱动自动将多条单条插入重写为批量插入语句，降低网络交互开销
• EXA_PARALLEL=4：指定Exasol使用4个并行连接执行导出（数值可根据集群资源调整，比如8、16等）

2. 在EXPORT语句中显式指定并行度 #

可在导出语句中添加PARALLEL子句，显式控制并行数（优先级高于连接中的EXA_PARALLEL配置）：

EXPORT MY_SCHEMA.TEST_TABLE
    INTO JDBC AT POSTGRES_DB
    TABLE pg_schema.test_table
    PARALLEL 4
    truncate;

3. 确保PostgreSQL端支持并行写入 #

• 检查目标表pg_schema.test_table无排他锁：避免其他会话持有表锁导致并行插入阻塞
• 调整PostgreSQL的max_connections参数：确保其值大于当前已用连接数加上Exasol的并行数，防止连接失败
• 临时移除索引（可选）：如果目标表有索引，先删除索引再执行导出，完成后重建索引，可大幅提升并行写入效率

额外注意事项 #

如果Exasol的源表MY_SCHEMA.TEST_TABLE是单节点存储的（非分布式），需先将其转为分布式表才能启用并行导出：

ALTER TABLE MY_SCHEMA.TEST_TABLE DISTRIBUTE BY ROUND ROBIN;

内容的提问来源于stack exchange，提问作者Anil Bharadia