如何将PostgreSQL数据ETL至ClickHouse数据仓库？（Docker环境）

一、用 ClickHouse 内置能力快速同步（新手首选） #

作为ClickHouse新手，不用急着找第三方工具，它自带直接对接PostgreSQL的功能，轻量且易上手，完全能满足维度表、事实表的加载需求。

1. 基于PostgreSQL表引擎的同步 #

ClickHouse支持直接挂载PostgreSQL表为外部表，也能一键导入到本地表：

• 创建外部表（用于预览或实时关联查询）

CREATE TABLE pg_dim_user
ENGINE = PostgreSQL('postgres:5432', 'your_postgres_db', 'dim_user', 'pg_username', 'pg_password')
SETTINGS postgresql_skip_null_values = 1;

注：如果容器不在同一Docker网络，把postgres换成宿主机IP

• 批量导入到本地维度表
  先创建和PostgreSQL维度表结构匹配的ClickHouse表，再用INSERT同步：

-- 创建ClickHouse本地维度表（按业务设计字段，示例为用户维度）
CREATE TABLE dim_user
(
    user_id UInt64,
    user_name String,
    create_date Date
)
ENGINE = MergeTree()
ORDER BY user_id;

-- 全量导入数据
INSERT INTO dim_user
SELECT user_id, user_name, create_date FROM pg_dim_user;

• 增量同步事实表
  事实表数据量大，避免全量重复导入，用时间戳或自增ID过滤增量数据：

-- 假设事实表有order_time字段记录创建时间
INSERT INTO fact_order
SELECT order_id, user_id, amount, order_time
FROM PostgreSQL('postgres:5432', 'your_postgres_db', 'fact_order', 'pg_username', 'pg_password')
WHERE order_time > (SELECT max(order_time) FROM fact_order);

2. 命令行定时同步 #

如果需要定期执行同步，结合cron（宿主机或Docker容器内），用clickhouse-client执行脚本：

# 宿主机执行，假设ClickHouse容器名为clickhouse-server
docker exec clickhouse-server clickhouse-client --query "INSERT INTO dim_user SELECT * FROM PostgreSQL('postgres:5432', 'your_postgres_db', 'dim_user', 'pg_username', 'pg_password')"

二、用你熟悉的传统ETL工具对接 #

既然习惯Talend、SSIS，直接复用现有经验即可，只需配置对应数据源：

1. Talend 配置步骤 #

• 在Talend Studio的组件市场搜索并安装ClickHouse插件
• 配置PostgreSQL数据源：连接Docker部署的PostgreSQL，地址填宿主机IP+映射的5432端口，输入库名、用户名密码
• 配置ClickHouse数据源：连接Docker的ClickHouse，地址填宿主机IP+映射的8123端口
• 设计ETL作业：用tPostgreSQLInput读取维度/事实数据，通过tMap做字段转换（如果需要），再用tClickHouseOutput写入目标表
• 增量处理：在tPostgreSQLInput的查询语句中加入时间戳过滤条件，比如WHERE update_time > '${last_sync_time}'，用Talend变量记录上次同步时间

2. SSIS 配置步骤 #

• 安装ClickHouse的SSIS驱动（可找第三方开源驱动）
• 新建OLE DB连接：用PostgreSQL OLE DB驱动连接Docker的PostgreSQL服务
• 新建ClickHouse连接：用对应驱动配置连接信息
• 设计数据流任务：用「OLE DB源」读取PostgreSQL数据，按需添加转换组件，再用「ClickHouse目标」写入维度/事实表
• 增量同步：通过SSIS变量存储上次同步的最大ID或时间戳，在数据源查询中加入过滤条件

三、Docker环境必注意点 #

• 把PostgreSQL和ClickHouse容器加入同一Docker网络，这样可以直接用容器名（比如postgres）访问，不用宿主机IP
• 确认容器端口映射正确：PostgreSQL默认映射5432，ClickHouse默认映射8123（HTTP）和9000（TCP）
• 权限配置：给PostgreSQL的连接用户授予对应表的SELECT权限，给ClickHouse的连接用户授予INSERT权限

内容的提问来源于stack exchange，提问作者ousskh63