R语言中arrow包动态构建查询的非eval(parse)实现方案问询

问题背景 #

处理30GB级Parquet数据集时，单区间过滤可通过dplyr语法轻松实现，但面对大量动态区间的过滤需求，目前依赖字符串拼接+eval(parse(text=))实现，希望找到更安全、高效的替代方案。

解决方案1：用dplyr + purrr组合逻辑条件 #

利用purrr::pmap生成单个区间的过滤表达式，再通过reduce将所有条件用逻辑或（|）组合，最后用rlang的非引用操作符（!!）注入到filter中，全程无需字符串拼接。

代码示例

library(arrow)
library(dplyr)
library(purrr)

# 示例数据集
artab <- arrow_table(int = 1:1000, value = runif(1000))

# 定义动态区间
window_reqs <- data.frame(
  lower_bound = c(0.1, 0.4, 0.8),
  upper_bound = c(0.2, 0.6, 1.0)
)

# 生成每个区间的过滤条件表达式
conditions <- pmap(window_reqs, ~ between(value, ..1, ..2))

# 组合所有条件（逻辑或）
combined_condition <- reduce(conditions, `|`)

# 执行查询（保留Arrow懒加载优化）
arrow_output <- artab %>%
  filter(!!combined_condition) %>%
  collect()

解决方案2：用Arrow原生表达式API #

直接使用Arrow的Expression对象构建过滤逻辑，完全对接Arrow的查询优化引擎，适合超大数据集的复杂过滤场景。

代码示例

library(arrow)

# 示例数据集
artab <- arrow_table(int = 1:1000, value = runif(1000))

# 定义动态区间
window_reqs <- data.frame(
  lower_bound = c(0.1, 0.4, 0.8),
  upper_bound = c(0.2, 0.6, 1.0)
)

# 构建Arrow组合表达式：多个区间的逻辑或
arrow_expr <- Expression$create("or", !!!pmap(window_reqs, function(lower, upper) {
  # 单个区间：value >= lower 且 value <= upper
  Expression$create("and",
    Expression$create(">=", Expression$field("value"), lower),
    Expression$create("<=", Expression$field("value"), upper)
  )
}))

# 执行过滤
arrow_output <- artab %>%
  filter(arrow_expr) %>%
  collect()

方案优势 #

1. 安全可靠：避免字符串拼接和eval带来的代码注入风险，代码可读性更强
2. 性能优异：保留Arrow的懒加载查询优化，仅扫描一次数据，性能远优于逐次lapply过滤
3. 兼容性好：两种方案均支持Arrow的lazy evaluation，无需提前加载30GB数据到内存

内容的提问来源于stack exchange，提问作者Dubukay