如何在JetBrains IDE与Jupyter Notebook间共享DuckDB并启用自动补全？

1. 用磁盘持久化DuckDB实现跨环境共享 #

• 把Jupyter里的DuckDB从内存模式改成磁盘文件模式，所有数据写入本地磁盘文件（比如./shared_duckdb.db）：

  import duckdb
  # 连接磁盘文件，而非默认的内存实例
  conn = duckdb.connect('./shared_duckdb.db')
  # 后续加载Athena数据的操作都通过这个连接执行，数据会持久化到文件
  conn.execute("CREATE TABLE my_athena_data AS SELECT * FROM athena.catalog.db.table")
  

• JetBrains中配置DuckDB JDBC连接时，指定这个磁盘文件路径，并在JDBC URL末尾添加;read_only=true参数，以只读模式连接。这样IDE能读取数据库结构提供自动补全，同时不会干扰Jupyter的写操作。

2. 用DuckDB扩展挂载Athena数据源，实现双源自动补全 #

• 确保JetBrains使用的DuckDB JDBC驱动是最新版本（支持Athena扩展），然后在IDE的SQL控制台执行以下语句，直接把Athena数据源挂载到DuckDB实例中：

  INSTALL athena;
  LOAD athena;
  -- 替换成你的AWS区域、Glue目录和数据库名
  ATTACH 'athena://us-east-1/glue_catalog/my_database' AS athena_source;
  

• 挂载完成后，JetBrains的数据库面板会同时显示本地DuckDB的表和Athena的外部表，编写SQL时自动补全能覆盖两边的所有表、字段和函数。

3. 配置JetBrains多数据源关联 #

• 在JetBrains中分别配置两个独立数据源：
  • 一个是DuckDB JDBC连接（指向共享磁盘文件，只读模式）
  • 另一个是Athena官方JDBC连接
• 在IDE的Database Tools设置中，启用数据源关联功能，这样编写SQL时，IDE会同时从两个数据源拉取元数据，自动补全时能识别跨数据源的表和字段。

4. 临时手动同步元数据（应急方案） #

• 如果上述方案暂时无法落地，可以在Jupyter中导出当前DuckDB的表结构：

  import duckdb
  conn = duckdb.connect('./shared_duckdb.db')
  # 导出所有表的结构信息
  tables = conn.execute("PRAGMA show_tables").fetchall()
  for table in tables:
      schema = conn.execute(f"PRAGMA table_info({table[0]})").fetchall()
      print(f"表名: {table[0]}")
      print("字段信息:", schema)
  

• 然后在JetBrains的DuckDB连接中手动创建对应的空表或视图，模拟元数据结构，实现基础的自动补全。这个方法需要手动同步结构，适合临时场景。

内容的提问来源于stack exchange，提问作者Martin Macak