Sparklyr按file_number分组后对battery_soc时间插值报错及保序问题

问题原因分析 #

你遇到的两个问题分别对应以下原因：

1. 运行报错（状态码255）：
   • 原代码提前select仅保留了file_number和battery_soc，后续逻辑需要用到absolute_time时会直接找不到对象
   • stats::smooth默认返回的是时间序列（ts）对象，sparklyr无法直接解析该格式的返回值
   • 函数仅返回了插值后的单列向量，没有和原始行对齐，sparklyr无法匹配输入输出的行结构
2. 分组内顺序无法保证：
   分布式环境下，分组shuffle操作会打乱行的顺序，即使你在调用spark_apply前执行arrange排序，分组后顺序也会丢失，必须在每个分组的处理逻辑内部做排序。

解决方案 #

调整后的代码如下：

library(sparklyr)
library(dplyr)

# 如果absolute_time已经是timestamp/date类型可以跳过这步，先把时间列转成正确的格式
full_df <- full_df %>%
  mutate(absolute_time = to_timestamp(absolute_time))

result_df <- full_df %>%
  spark_apply(
    f = function(df) {
      # 分组内先按时间排序，保证插值顺序正确
      df_sorted <- df[order(df$absolute_time), ]
      # 平滑处理，转成numeric避免ts对象格式问题
      df_sorted$battery_interpolated <- as.numeric(stats::smooth(df_sorted$battery_soc))
      # 返回完整数据框，包含原始字段+新插值字段
      return(df_sorted)
    },
    group_by = "file_number",
    # 显式指定返回列结构，避免sparklyr自动推断出错
    columns = c(colnames(full_df), battery_interpolated = "double")
  )

注意事项 #

• 如果你使用了第三方R包做平滑（比如zoo、forecast等），必须保证Spark集群的所有worker节点都安装了对应版本的R包，否则依然会报worker执行错误
• 如果部分file_number分组的行数过少（小于平滑方法要求的最小行数），可以在函数内加判断逻辑，小分组直接返回原始battery_soc值避免报错
• 若你需要自定义平滑逻辑，只需替换stats::smooth部分的代码即可，保证返回的向量长度和输入分组的行数一致即可

内容的提问来源于stack exchange，提问作者Laurent