如何为Starburst非托管表定义参数化外部路径以读取S3最新CSV文件？

直接在外部表定义里用<year>/<month>/<day>这类参数化路径无法自动定位到最新日期的文件，因为Starburst的外部表位置定义是静态的。但可以通过以下两种方案实现需求：

1. 用视图封装动态路径逻辑 #

不需要将表绑定到固定路径，而是创建视图，通过SQL动态计算最新日期对应的S3路径，再读取该路径下的文件：

CREATE OR REPLACE VIEW latest_csv_data AS
SELECT * FROM s3.`bucket_name/file_name/${latest_year}/${latest_month}/${latest_day}`
WHERE (latest_year, latest_month, latest_day) = (
    SELECT 
        MAX(year),
        MAX(month) FILTER (WHERE year = MAX(year)),
        MAX(day) FILTER (WHERE year = MAX(year) AND month = MAX(month))
    FROM (
        SELECT 
            CAST(split_part(path, '/', 3) AS INT) AS year,
            CAST(split_part(path, '/', 4) AS INT) AS month,
            CAST(split_part(path, '/', 5) AS INT) AS day
        FROM s3.`bucket_name/file_name/*/*/*`
        WHERE path LIKE 'bucket_name/file_name/%/%/%'
    ) AS date_paths
);

每次查询该视图时，会自动扫描所有路径计算出最新日期，然后读取对应文件的数据。

2. 分区表+定期刷新分区 #

如果可以接受定期维护，可创建按年、月、日分区的外部表：

CREATE TABLE external_csv_table (
    -- 替换为你的实际字段定义
    col1 VARCHAR,
    col2 INT
)
WITH (
    format = 'csv',
    external_location = 's3://bucket_name/file_name/',
    partitioned_by = ARRAY['year', 'month', 'day']
);

之后定期执行以下命令同步S3上的新分区：

MSCK REPAIR TABLE external_csv_table;

查询时直接过滤最新分区即可，也可以把过滤逻辑封装成视图：

SELECT * FROM external_csv_table
WHERE year = (SELECT MAX(year) FROM external_csv_table)
  AND month = (SELECT MAX(month) FROM external_csv_table WHERE year = (SELECT MAX(year) FROM external_csv_table))
  AND day = (SELECT MAX(day) FROM external_csv_table WHERE year = (SELECT MAX(year) FROM external_csv_table) AND month = (SELECT MAX(month) FROM external_csv_table WHERE year = (SELECT MAX(year) FROM external_csv_table)));

注意事项 #

• 视图方案每次查询都会扫描所有路径，适合文件数量较少的场景；
• 分区表方案性能更优，但需要定期执行分区刷新，可结合Starburst调度工具或外部定时任务自动化操作。

内容的提问来源于stack exchange，提问作者ennezetaqu