Vertica外部表能否加载多格式文件？CSV与Parquet加载求最优方案

方案1：使用COPY语句的条件解析（性能最优） #

直接通过COPY命令的条件分支逻辑，将两种格式的文件批量加载到同一个目标表，无需先创建两个中间表。利用Vertica的FILE_EXTENSION()函数判断文件类型，分别指定对应的解析参数：

-- 创建与CSV/Parquet字段匹配的目标表
CREATE TABLE target_table (
    id INT,
    name VARCHAR(100),
    create_date DATE
);

-- 批量加载两种格式文件
COPY target_table
FROM '/path/to/files/*' -- 指向包含CSV和Parquet的目录
WITH (
    FORMAT CASE
        WHEN FILE_EXTENSION() = 'csv' THEN 'CSV' DELIMITER ',' SKIP 1 HEADER
        WHEN FILE_EXTENSION() = 'parquet' THEN 'PARQUET'
        ELSE 'NONE' -- 跳过其他格式文件
    END
);

这种方式在加载阶段直接完成格式适配，避免了Union操作的额外开销，性能远高于先分表再合并的方式。

方案2：使用Flex表统一解析 #

如果目标表结构不固定或需要临时处理多格式数据，可以用Flex外部表先加载所有文件，再通过解析函数提取字段并插入到目标表：

-- 创建Flex外部表，自动捕获文件扩展名
CREATE FLEX EXTERNAL TABLE flex_files()
LOCATION ('/path/to/files/*')
PARSE FILLER file_extension VARCHAR(10) AS FILE_EXTENSION();

-- 从Flex表提取数据到目标表
INSERT INTO target_table
SELECT
    id::INT,
    name::VARCHAR(100),
    create_date::DATE
FROM flex_files
WHERE file_extension = 'csv'
UNION ALL
SELECT
    id::INT,
    name::VARCHAR(100),
    create_date::DATE
FROM flex_files
WHERE file_extension = 'parquet';

Flex表无需提前定义结构，但解析时需注意类型转换的准确性，性能略逊于直接COPY的条件解析。

方案3：分区外部表（适用于对象存储场景） #

如果文件存储在S3、HDFS等对象存储上，可以按文件格式创建分区外部表，查询时Vertica会自动优化分区扫描，比普通Union更高效：

-- 创建按文件扩展名分区的外部表
CREATE EXTERNAL TABLE partitioned_table (
    id INT,
    name VARCHAR(100),
    create_date DATE
)
PARTITION BY (file_extension VARCHAR(10))
LOCATION (
    's3://bucket/path/csv_files/*' PARTITION (file_extension='csv'),
    's3://bucket/path/parquet_files/*' PARTITION (file_extension='parquet')
)
FORMAT CASE
    WHEN file_extension = 'csv' THEN 'CSV' DELIMITER ',' SKIP 1
    WHEN file_extension = 'parquet' THEN 'PARQUET'
END;

查询该表时，Vertica会根据分区过滤逻辑直接扫描对应格式的文件，避免全量扫描，性能接近单格式表查询。

内容的提问来源于stack exchange，提问作者NARENDRA