从Impala迁移至PostgreSQL：存储格式与外部数据等效实现问询

一、Impala文本外部表的PostgreSQL等效实现 #

Impala中ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/ABCD/%s'的逻辑，PostgreSQL没有完全一致的单句语法，但可以通过两种方式实现需求：

1. 用file_fdw创建实时关联的外部表 #

这种方式和Impala外部表逻辑最接近，表结构直接绑定外部CSV文件，查询时实时读取文件内容：

• 先启用file_fdw扩展：

CREATE EXTENSION IF NOT EXISTS file_fdw;

• 创建文件服务器对象：

CREATE SERVER fileserver FOREIGN DATA WRAPPER file_fdw;

• 创建外部表（替换表结构和实际生成的业务路径）：

CREATE FOREIGN TABLE abc.xyz (
    col1 INT,
    col2 TEXT,
    col3 DATE
)
SERVER fileserver
OPTIONS (
    filename '/ABCD/your-generated-path', -- 替换为业务逻辑生成的实际路径
    format 'csv',
    delimiter ',',
    header 'false' -- 文件无表头设为false，有表头则设为true
);

业务逻辑生成的%s直接替换到filename路径中即可，若需动态路径，可通过脚本或函数生成建表语句。

2. 用COPY命令批量加载数据 #

如果不需要实时关联外部文件，只是一次性将CSV数据导入PostgreSQL，COPY是性能最优的选择：

• 先创建普通表：

CREATE TABLE abc.xyz (
    col1 INT,
    col2 TEXT,
    col3 DATE
);

• 执行COPY加载数据：

COPY abc.xyz FROM '/ABCD/your-generated-path' WITH (FORMAT csv, DELIMITER ',', HEADER false);

若文件在远程服务器，可使用COPY ... FROM PROGRAM 'curl http://remote-path'，或在客户端用psql的\copy命令操作。

二、Impala中SELECT * FROM abc.xyz STORED AS PARQUET的等效写法 #

PostgreSQL处理Parquet文件有两种常用方式：

方式1：使用pg_read_parquet函数（PostgreSQL 14+内置） #

无需创建表，直接读取Parquet文件内容：

SELECT * FROM pg_read_parquet('/path/to/your/xyz.parquet');

如需映射到指定表结构或筛选列：

SELECT col1, col2 FROM pg_read_parquet('/path/to/your/xyz.parquet') AS t(col1 INT, col2 TEXT);

方式2：用parquet_fdw创建Parquet外部表 #

若需像Impala那样将Parquet文件当作常规表查询，可使用parquet_fdw扩展：

• 启用扩展：

CREATE EXTENSION IF NOT EXISTS parquet_fdw;

• 创建外部表：

CREATE FOREIGN TABLE abc.xyz (
    col1 INT,
    col2 TEXT,
    col3 DATE
)
SERVER parquet_server
OPTIONS (
    filename '/path/to/your/xyz.parquet'
);

之后即可直接执行查询：

SELECT * FROM abc.xyz;

关于COPY的适用性说明 #

• 如果是一次性批量导入数据，COPY是最优选择，性能远高于逐行插入；
• 如果需要实时读取外部文件（文件更新后查询结果自动同步），则使用file_fdw（文本文件）或parquet_fdw（Parquet文件）创建外部表更符合Impala原逻辑。

内容的提问来源于stack exchange，提问作者Beans Sama