在Go中基于DuckDB实现Arrow Flight SQL服务时，如何按需查询Parquet文件？

首先明确：Go的DuckDB驱动（github.com/marcboeker/go-duckdb）支持直接查询Parquet文件，但不能用parquet:/path/to/file.parquet作为连接字符串——这个前缀是DuckDB CLI的快捷语法，Go驱动的连接字符串仅用于指定DuckDB数据库实例（内存或磁盘文件），而非直接指向Parquet文件。

正确实现步骤 #

1. 连接内存DuckDB实例
   因为你需要按需加载Parquet文件，内存模式是最优选择，无需持久化额外元数据。连接代码示例：

   import (
       "database/sql"
       _ "github.com/marcboeker/go-duckdb"
   )
   
   func main() {
       // 连接内存数据库，这一步你已验证可正常运行
       db, err := sql.Open("duckdb", ":memory:")
       if err != nil {
           panic(err)
       }
       defer db.Close()
   
       // 可选：手动启用Parquet扩展（部分DuckDB版本默认已加载）
       _, err = db.Exec("INSTALL parquet; LOAD parquet;")
       if err != nil {
           panic(err)
       }
   }
   

2. 按需查询Parquet文件
   在处理Arrow Flight SQL的查询请求时，使用DuckDB内置函数直接引用文件，无需提前导入：

   • 单文件查询：

     SELECT * FROM parquet_scan('/path/to/file.parquet')
     

   • 通配符批量查询：

     SELECT * FROM parquet_scan('/path/to/*.parquet')
     

   • 处理Schema各异的文件：用union_by_name参数自动合并字段（缺失字段填充NULL）

     SELECT * FROM read_parquet('/path/to/*.parquet', union_by_name=true)
     

3. 集成Arrow Flight SQL服务器
   服务器核心逻辑是接收查询请求，将其转发给已连接的内存DuckDB实例执行，再把结果转为Arrow格式返回。你可以让用户直接提交包含Parquet扫描语法的查询，也可以在服务器层做映射，将用户指定的表名关联到对应的Parquet文件路径。

常见问题说明 #

• 为什么之前的连接字符串报错？
  parquet:前缀是DuckDB CLI的特殊快捷语法，Go驱动的连接字符串仅支持DuckDB原生数据库格式（内存:memory:或磁盘文件路径），因此会提示「Unrecognized storage type 'parquet'」；直接用Parquet文件路径作为连接字符串，自然会被判定为无效的DuckDB数据库文件。

• Go 1.18.10兼容性？
  只要使用v1.3.0及以上版本的go-duckdb驱动（适配DuckDB v0.8.0+），Go 1.18.10完全兼容。

内容的提问来源于stack exchange，提问作者knightcool