如何在{targets}管道中高效结合DBI/SQL数据库（DuckDB）使用？

1. 适配数据库的targets工具 #

• 推荐使用tarchetypes包中的tar_sql()函数，它专门为SQL数据源设计，无需将整张表拉回R内存。该函数会直接在数据库端执行SQL操作，仅返回必要的元数据或计算结果，彻底避免大量数据传输带来的耗时问题。
• 基础使用示例：

  library(targets)
  library(tarchetypes)
  library(duckdb)
  
  # 缓存数据库连接，避免重复创建
  tar_target(
    name = duckdb_con,
    command = dbConnect(duckdb(), "my_project_db.duckdb"),
    format = "file" # 连接对象无法序列化，用文件格式缓存连接实例
  )
  
  # 数据库端执行关联查询，仅保留查询引用不加载全量数据
  tar_target(
    name = merged_db_table,
    command = tar_sql(
      query = "SELECT t1.id, t1.value, t2.category FROM table1 t1 JOIN table2 t2 ON t1.id = t2.id",
      con = duckdb_con,
      collect = FALSE
    )
  )
  
  # 按需拉取建模所需字段，而非全表数据
  tar_target(
    name = model_input,
    command = dbGetQuery(duckdb_con, "SELECT value, category FROM merged_db_table")
  )
  

• 你也可以通过tar_format()自定义"duckdb"格式，定义专属的序列化/反序列化逻辑，实现直接在数据库中读写数据对象，完全跳过R内存中转环节。

2. 是否符合targets设计初衷 #

完全符合。targets的核心设计目标之一就是高效处理大型数据集，避免不必要的数据加载与重复计算。通过数据库端执行操作、按需拉取数据的方式，正好契合它“只计算必要部分、缓存中间结果”的设计理念。

targets并不强制要求所有数据加载到R内存，它原生支持与外部存储系统（包括数据库）协作，通过元数据跟踪数据状态，保障管道的可复现性与运行效率。你的场景正是targets针对大型数据处理场景设计的典型应用场景。

内容的提问来源于stack exchange，提问作者David