关于DuckDB COPY语句中S3 URI参数化的技术咨询

问题场景 #

我正尝试使用DuckDB的postgres_scanner将数据导出至S3。先通过以下语句用ATTACH语法连接PostgreSQL数据库：

ATTACH 'postgresql://postgres:postgres@postgres:5432/postgres' AS my_db (TYPE postgres, READ_ONLY);

之后执行查询导出数据，但希望将COPY语句中的S3 URI替换为依赖于group_id的动态路径，直接用$3占位符无法实现：

COPY (
    SELECT
        d.some_id,
        d.some_other_column
    FROM
        postgres_scan_pushdown($1, 'my_schema', 'my_table') as d
    WHERE
        group_id = $2
) TO 'XXXXXXXXXXXX' (FORMAT 'parquet');

Python API调用方式：

conn.execute(THE_ABOVE_QUERY, [CONFIG.duck_db_pg_dsn, group_id])

解决办法 #

DuckDB的COPY TO语句目前不支持用占位符动态指定目标路径，你可以通过以下两种方式实现动态路径导出：

1. Python层面拼接动态路径 #

直接在Python代码中根据group_id生成对应的S3 URI，再拼接完整的SQL语句执行。这种方式简单直接，注意确保group_id为可信输入（如内部生成的整数），避免SQL注入风险。

示例代码：

# 根据group_id生成动态S3路径
s3_uri = f"s3://your-bucket/exported_data/group_{group_id}.parquet"

# 拼接完整的COPY查询语句
copy_query = f"""
COPY (
    SELECT
        d.some_id,
        d.some_other_column
    FROM
        postgres_scan_pushdown($1, 'my_schema', 'my_table') as d
    WHERE
        group_id = $2
) TO '{s3_uri}' (FORMAT 'parquet');
"""

# 执行查询，传入剩余的参数
conn.execute(copy_query, [CONFIG.duck_db_pg_dsn, group_id])

2. 使用DuckDB动态SQL（适合复杂场景） #

如果需要在SQL层面处理动态路径，可以使用PREPARE和EXECUTE结合字符串拼接生成动态语句，不过在Python中调用时仍需注意参数安全：

示例SQL逻辑（Python中执行）：

# 先定义模板查询
template = """
PREPARE export_query AS
COPY (
    SELECT
        d.some_id,
        d.some_other_column
    FROM
        postgres_scan_pushdown($1, 'my_schema', 'my_table') as d
    WHERE
        group_id = $2
) TO ? (FORMAT 'parquet');
"""
conn.execute(template)

# 生成路径并执行
s3_uri = f"s3://your-bucket/exported_data/group_{group_id}.parquet"
conn.execute("EXECUTE export_query USING $1, $2, ?", [CONFIG.duck_db_pg_dsn, group_id, s3_uri])

注意：部分DuckDB版本对EXECUTE中COPY路径的参数支持可能有限，优先推荐第一种Python拼接的方式。

内容的提问来源于stack exchange，提问作者WArnold