DuckDB附加S3表后预编译语句创建缓慢问题咨询

我已将S3上的Iceberg表附加到本地DuckDB，常规查询操作运行正常，相关代码如下：

初始化DuckDB连接 #

func OpenDuckDB(ctx context.Context, logger *zerolog.Logger) (*sql.DB, *duckdb.Connector, error) {
    os.Remove("duckdb.db")
    os.Remove("duckdb.db.wal")

    connector, err := duckdb.NewConnector("duckdb.db", nil)
    if err != nil {
        return nil, nil, err
    }

    db := sql.OpenDB(connector)
    db.SetMaxIdleConns(20)
    db.SetMaxOpenConns(20)
    db.SetConnMaxLifetime(5 * time.Minute)

    go StartDbLogging(ctx, db, logger, "duckdb")

    return db, connector, nil
}

附加S3 Iceberg表 #

// attach s3_tables
query = fmt.Sprintf(`
ATTACH '%s' AS s3_tables (
    TYPE ICEBERG,
    ENDPOINT_TYPE s3_tables
);`,
    config.GetAwsS3TableArn(),
)
_, err = r.duckdb.ExecContext(ctx, query)
if err != nil {
    return fmt.Errorf("failed to attach s3_tables: %v", err)
}

// show tables
rows, err = r.duckdb.QueryContext(ctx, "SHOW ALL TABLES;")
if err != nil {
    return fmt.Errorf("failed to show all tables: %v", err)
}
defer rows.Close()

但针对该附加表创建预编译语句时，性能表现极差，相关代码如下：

创建预编译语句 #

func (r *DuckDBSensorEntryRepo) PrepareFirstStatement(ctx context.Context) (*sql.Stmt, error) {
    query := `
    SELECT * FROM s3_tables.namespace.tablename
    WHERE 1=1
    AND date_created >= $date_created_gte
    AND date_created <= $date_created_lte
    AND timestamp >= $timestamp_gte
    AND timestamp <= $timestamp_lte
    AND sensor_id = $sensor_id
    AND metric = $metric
    ORDER BY date_created ASC
    LIMIT 1;    
    `

    stmt, err := r.duckdb.PrepareContext(ctx, query)
    if err != nil {
        return nil, fmt.Errorf("%s: %v", query, err)
    }

    return stmt, nil
}

现咨询以下技术问题：

1. 是否不应使用预编译语句，转而采用内存实现来缓存结果？
2. 同一时间可创建的预编译语句数量是否存在限制？

1. 预编译语句 vs 内存缓存结果 #

预编译语句性能差的核心原因是：针对远程Iceberg表做预编译时，DuckDB需要先从S3拉取表的元数据（分区信息、统计数据等）来生成最优执行计划，网络IO会大幅拖慢预编译过程。

是否替换为内存缓存，需结合业务场景判断：

• 适合用内存缓存的场景：查询参数组合有限、数据更新频率低。可以将常用参数的查询结果缓存到本地内存（比如Go的sync.Map或第三方缓存库），直接返回缓存结果，避免重复预编译和远程查询。
• 不适合用内存缓存的场景：参数组合极多、数据更新频繁。此时缓存命中率低，还可能出现脏数据，建议优化预编译方式：
  • 提前预编译：在服务启动阶段就创建好所需的预编译语句，把耗时转移到启动环节，而非请求时才创建。
  • 开启元数据缓存：设置DuckDB的iceberg_metadata_cache_size参数，减少S3元数据的重复拉取。
  • 避免SELECT *：明确指定需要的字段，减少元数据处理量。

2. 预编译语句数量限制 #

DuckDB本身没有硬性的预编译语句数量上限，但实际受限于两个因素：

• 内存占用：每个预编译语句会存储执行计划等信息，大量创建会消耗进程内存，内存不足时会触发GC或导致整体性能下降。
• Go连接池限制：每个数据库连接上的预编译语句是独立的，过多语句会增加连接池的内存开销。

建议：

• 复用预编译语句：创建一次后重复使用，不要每次请求都新建，这也是预编译语句的设计初衷。
• 及时清理资源：调用Stmt.Close()释放不再使用的预编译语句，避免内存泄漏。

内容的提问来源于stack exchange，提问作者Muhammad Najid