不同时间分辨率数据框合并与高效样条拟合方法咨询

问题背景 #

现有两个数据集：一个是1秒频率（1Hz）的时间序列，另一个时间戳无固定规律。需要将非规则时间戳的数据合并到1Hz序列中，完成样条拟合并做数据集成对比较。原方法通过循环比对日期赋值，计算耗时过长，需更高效实现方式。

原实现代码（循环版本）：

# GNSS-R data 1 Hz spline fit

# Libraries
library(readxl)
library(lubridate)
library(zoo)

# Load data
GNSSR_df=read.csv('GNSS-R Oliver.csv')

# Interpolate the GNSS-R data
## Create the 1 sec interval time column
start=as.POSIXct(min(GNSSR_df$date_time))
end=as.POSIXct(max(GNSSR_df$date_time))
date_time=seq(from=start, to=end, by=1)

## Create the new GNSSR data frame
GNSSR_int_df=data.frame('date_time'=date_time, 'wl'=NA)

## Paste the GNSS-R values into the new data frame
n_GNSSR=nrow(GNSSR_df)
for (i in 1:n_GNSSR) {
  GNSSR_int_df$wl[GNSSR_int_df$date_time==GNSSR_df$date_time[i]]=GNSSR_df$WaterLevel.m.[i]}

## Fit a spline to get 1 Hz data
GNSSR_int_df$spline=(NA)
GNSSR_int_df$spline=na.spline(GNSSR_int_df$wl)

## Plot to verify spline fit
plot(GNSSR_int_df$date_time, GNSSR_int_df$wl, xlab='', ylab='Water level (m)', ylim=c(min(GNSSR_int_df$spline), max(GNSSR_int_df$spline)))
lines(GNSSR_int_df$date_time, GNSSR_int_df$spline, type='l', col='forestgreen')
legend('topright', legend=(c('Data', 'Spline')), col=c('black', 'forestgreen'), bty='n', pch=c('o', '-'), inset=0.01)

# Export data to csv
write.csv(GNSSR_int_df, 'GNSS-R, spline fit.csv', row.names = F)

优化方案：向量式操作替代逐行循环 #

R的循环操作在处理大规模数据时效率极低，推荐使用面向向量/时间序列的内置函数替代，这类操作底层由C/Fortran实现，速度提升显著。以下提供两种高效实现方式：

方法一：使用merge函数直接对齐时间戳 #

利用merge的全连接特性，按时间戳自动匹配数值，无需循环：

# 加载所需包
library(lubridate)
library(zoo)

# 读取数据并标准化时间格式
GNSSR_df <- read.csv('GNSS-R Oliver.csv')
GNSSR_df$date_time <- as.POSIXct(GNSSR_df$date_time)

# 构造1Hz时间序列数据框
start <- min(GNSSR_df$date_time)
end <- max(GNSSR_df$date_time)
date_seq <- seq(from = start, to = end, by = 1)
GNSSR_int_df <- data.frame(date_time = date_seq)

# 高效合并：按date_time匹配，保留所有1Hz时间点，自动填充对应水位值
GNSSR_int_df <- merge(GNSSR_int_df, GNSSR_df[, c("date_time", "WaterLevel.m.")], 
                      by = "date_time", all.x = TRUE)
colnames(GNSSR_int_df)[2] <- "wl"  # 重命名列以保持原代码习惯

# 样条拟合
GNSSR_int_df$spline <- na.spline(GNSSR_int_df$wl)

# 绘图验证
plot(GNSSR_int_df$date_time, GNSSR_int_df$wl, xlab = '', ylab = 'Water level (m)', 
     ylim = range(GNSSR_int_df$spline, na.rm = TRUE))
lines(GNSSR_int_df$date_time, GNSSR_int_df$spline, type = 'l', col = 'forestgreen')
legend('topright', legend = c('Data', 'Spline'), col = c('black', 'forestgreen'), 
       bty = 'n', pch = c('o', '-'), inset = 0.01)

# 导出结果
write.csv(GNSSR_int_df, 'GNSS-R, spline fit.csv', row.names = FALSE)

方法二：使用zoo包处理时间序列 #

zoo是R中专门用于时间序列分析的包，对齐和插值操作更简洁：

library(lubridate)
library(zoo)

# 读取数据并转换为zoo时间序列对象
GNSSR_df <- read.csv('GNSS-R Oliver.csv')
GNSSR_df$date_time <- as.POSIXct(GNSSR_df$date_time)
gnss_zoo <- zoo(GNSSR_df$WaterLevel.m., order.by = GNSSR_df$date_time)

# 构造空的1Hz时间序列zoo对象
date_seq <- seq(from = start(gnss_zoo), to = end(gnss_zoo), by = 1)
gnss_int_zoo <- zoo(, order.by = date_seq)

# 合并两个时间序列，自动对齐时间戳
gnss_combined <- merge(gnss_int_zoo, gnss_zoo, all = TRUE)
colnames(gnss_combined) <- c("wl", "raw_wl")
gnss_combined$wl <- gnss_combined$raw_wl  # 转移原始数据到wl列

# 样条拟合
gnss_combined$spline <- na.spline(gnss_combined$wl)

# 转换回数据框（如需后续处理）
GNSSR_int_df <- as.data.frame(gnss_combined)
GNSSR_int_df$date_time <- index(gnss_combined)

# 绘图与导出同方法一

效率说明 #

• 原循环方法的时间复杂度为O(n*m)（n为原始数据行数，m为1Hz序列行数），数据量较大时会出现明显卡顿
• 优化后的方法基于排序匹配，时间复杂度为O(n log n)，处理大规模数据时速度可提升数十倍甚至上百倍

内容的提问来源于stack exchange，提问作者Oliver Hargreaves