如何将低精度海平面数据集拟合至高精度基准数据集并评估一致性

第一步：数据预处理（先锁定有效配对样本） #

• 从两组数据中提取时间完全匹配的配对样本，这是后续差值最小化拟合的核心基础——只有同一时间点的测量值才能直接对应，非配对的时间点留到后续趋势验证环节使用。
• 先做异常值粗筛：对配对数据的差值（基准值-低精度值）用**四分位距法（IQR）或中位数绝对偏差（MAD）**剔除极端异常点，比如IQR法中，把差值超出Q3+1.5*IQR或Q1-1.5*IQR的样本标记为异常，暂时排除在拟合模型外。

第二步：稳健拟合方法（精准最小化对应点差值） #

放弃之前的极值/均值匹配思路，改用抗异常值且直接最小化残差的方法：

• RANSAC稳健线性回归（优先推荐）：
  两组数据的差异本质是线性尺度偏移（不同设备的校准偏差），模型设为：基准值 = a * 低精度值 + b，其中a是缩放因子，b是偏移量。
  RANSAC会自动识别内点（正常数据）和外点（异常值），通过反复迭代找到最优拟合模型，完全避开异常值的干扰，完美满足“最小化对应点差值”的需求。
• 简化版偏移-缩放校正（适合偏差仅为线性平移+缩放的场景）：
  用稳健统计量（中位数代替均值，MAD代替标准差）计算校正参数，避免异常值影响：

  校正后低精度值 = (原始低精度值 - 低精度数据中位数) * (基准数据MAD / 低精度数据MAD) + 基准数据中位数
  

  该方法计算高效，适合快速验证场景。

第三步：一致性评估 #

拟合完成后，从两个维度验证效果：

• 数值一致性：计算配对样本的平均绝对误差（MAE）、均方根误差（RMSE），数值越小说明拟合精度越高；同时查看决定系数R²，越接近1说明拟合模型的解释性越强。
• 趋势一致性：
  1. 绘制Bland-Altman图：将配对数据的差值（基准值-校正后低精度值）作为纵轴，两组数据的均值作为横轴，标注差值的均值±1.96倍标准差区间，判断大部分差值是否落在区间内，以此识别是否存在系统偏差。
  2. 对非配对时间点，分别计算两组数据的滑动窗口均值（如按天/周），对比整体趋势是否一致。

快速实现示例（Python） #

import numpy as np
from sklearn.linear_model import RANSACRegressor, LinearRegression
from sklearn.metrics import mean_absolute_error, r2_score

# 假设已完成时间对齐，得到配对数组：x（低精度）、y（高精度基准）
# 1. 异常值筛选（IQR法）
diff = y - x
q1, q3 = np.percentile(diff, [25, 75])
iqr = q3 - q1
valid_mask = (diff >= q1 - 1.5*iqr) & (diff <= q3 + 1.5*iqr)
x_valid, y_valid = x[valid_mask], y[valid_mask]

# 2. RANSAC稳健拟合
ransac = RANSACRegressor(LinearRegression(), residual_threshold=0.5)  # 残差阈值可根据数据调整
ransac.fit(x_valid.reshape(-1, 1), y_valid)
scale = ransac.estimator_.coef_[0]
offset = ransac.estimator_.intercept_

# 3. 校正低精度数据
x_corrected = scale * x + offset

# 4. 评估指标计算
mae = mean_absolute_error(y_valid, scale*x_valid + offset)
rmse = np.sqrt(np.mean((y_valid - (scale*x_valid + offset))**2))
r2 = r2_score(y_valid, scale*x_valid + offset)
print(f"MAE: {mae:.3f}, RMSE: {rmse:.3f}, R²: {r2:.3f}")

内容的提问来源于stack exchange，提问作者hfasullo