R+Arrow 10.0使用gsub替换空字符串失效问题求助

问题说明 #

在Arrow 10.0.0版本里，用gsub("^$","0",x)处理Arrow Dataset里的空字符串""，调用collect()后替换没生效，但同样的代码在标准tibble里正常，且Arrow 9.0版本不存在这个问题。

可行解决方案 #

方案1：用Arrow原生条件判断函数 #

用if_else直接判断空字符串并替换，该函数能被Arrow的惰性查询引擎正确解析执行：

df2 <- data |>
    mutate(x = if_else(x == "", "0", x)) |>
    collect()

方案2：使用stringr的str_replace函数 #

str_replace是Arrow支持的字符串操作函数，其正则匹配逻辑能被Arrow引擎正确转译：

df2 <- data |>
    mutate(x = str_replace(x, "^$", "0")) |>
    collect()

问题原因 #

Arrow Dataset采用惰性计算机制，管道中的操作会被转译为Arrow引擎的原生计算逻辑，而非直接调用R原生函数。gsub在Arrow 10.0.0中的正则转译逻辑对空字符串的匹配存在异常，而if_else和str_replace是Arrow明确支持的函数，能确保替换逻辑在引擎层面正确执行。

内容的提问来源于stack exchange，提问作者larry77