在R中结合DuckDB与dplyr使用自定义函数的解决方案

核心思路是所有数据操作都在DuckDB后端执行，避免将数据集拉到R内存中。以下分场景解决你的问题：

1. 基础工作流：用dplyr直接操作DuckDB表 #

先确保连接和表引用正确，全程基于DuckDB的tbl对象操作，绝不提前调用collect()：

library(dplyr)
library(duckdb)
library(dbplyr)

# 建立DuckDB连接（磁盘存储避免内存压力）
con <- dbConnect(duckdb(), dbdir = "your_database.duckdb")

# 引用DuckDB中的大数据表（无需加载到内存）
big_data <- tbl(con, "your_table_name")

2. 替代stringr::str_glue：用DuckDB原生字符串操作 #

str_glue的模板拼接逻辑可以用DuckDB原生函数实现，完全在后端执行：

场景1：简单字符串拼接 #

原dplyr代码：

mutate(desc = str_glue("ID: {id}, Value: {value}"))

替换为DuckDB支持的写法（dbplyr会自动翻译）：

big_data %>%
  mutate(desc = str_c("ID: ", id, ", Value: ", value))

场景2：格式化模板拼接 #

如果需要更复杂的模板，直接用DuckDB的printf函数：

big_data %>%
  mutate(desc = sql("printf('ID: %d, Value: %.2f', id, value)"))

3. 自定义parse_bounds函数：转成DuckDB原生逻辑或注册UDF #

针对解析JSON格式的上下限字符串并求平均的需求，有两种高效实现方式：

方式1：用DuckDB原生JSON函数（推荐，性能最优） #

直接在dplyr中调用DuckDB的JSON处理函数，全程在后端执行：

big_data %>%
  mutate(
    # 提取lower和upper并转数值
    lower = cast(json_extract_path_text(bounds_col, 'lower') AS DOUBLE),
    upper = cast(json_extract_path_text(bounds_col, 'upper') AS DOUBLE),
    # 计算平均值
    avg_bounds = (lower + upper) / 2
  ) %>%
  # 清理中间列
  select(-lower, -upper)

方式2：复用R自定义函数，注册为DuckDB UDF #

如果一定要保留原R函数parse_bounds，可以将其注册为DuckDB的用户定义函数（UDF），在后端批量执行：

步骤1：定义并注册R函数

# 原自定义函数
parse_bounds <- function(bounds_str) {
  bounds <- jsonlite::fromJSON(bounds_str)
  (as.numeric(bounds$lower) + as.numeric(bounds$upper)) / 2
}

# 将函数注册到DuckDB连接
duckdb_register(con, "parse_bounds", parse_bounds, function_type = "scalar")

步骤2：在dplyr中调用该UDF

big_data %>%
  mutate(avg_bounds = sql("parse_bounds(bounds_col)"))

关键注意事项 #

• 绝对避免提前调用collect()或as.data.frame()，除非你确实需要将最终结果加载到内存。
• 优先用DuckDB原生SQL函数实现逻辑，比注册R UDF性能更高。
• 使用duckplyr时直接用duckplyr_table()引用表，不要手动转换为dataframe。

内容的提问来源于stack exchange，提问作者Amol Borkar