如何在scikit-learn多元线性回归中按scipy方式屏蔽xarray数据集的NaN值？

核心思路 #

针对每个经纬度点，先成对过滤所有含NaN的样本——即仅保留特征变量和目标变量均无缺失的时间步，再用LinearRegression拟合过滤后的数据，完全贴合scipy.stats.linregress的缺失值处理逻辑，且无需任何插补操作。

代码实现示例 #

假设你的数据结构为：

• X：三维特征数组，形状为(时间步数, 特征数, 纬度数, 经度数)
• y：目标变量数组，形状为(时间步数, 纬度数, 经度数)

嵌套循环处理代码如下：

import numpy as np
from sklearn.linear_model import LinearRegression

# 初始化系数和截距的存储数组
n_features = X.shape[1]
n_lat = X.shape[2]
n_lon = X.shape[3]
coef_matrix = np.full((n_features, n_lat, n_lon), np.nan)
intercept_matrix = np.full((n_lat, n_lon), np.nan)

# 嵌套循环遍历每个经纬度点
for lat_idx in range(n_lat):
    for lon_idx in range(n_lon):
        # 提取当前经纬度点的特征和目标时间序列
        X_slice = X[:, :, lat_idx, lon_idx]  # shape: (时间步数, 特征数)
        y_slice = y[:, lat_idx, lon_idx]      # shape: (时间步数,)
        
        # 生成掩码：筛选出所有特征和目标都无NaN的样本
        feature_valid = ~np.isnan(X_slice).any(axis=1)
        target_valid = ~np.isnan(y_slice)
        valid_mask = feature_valid & target_valid
        
        # 过滤得到干净的数据
        X_clean = X_slice[valid_mask]
        y_clean = y_slice[valid_mask]
        
        # 检查有效样本量是否满足线性回归要求（至少需要 特征数+1 个样本）
        if len(X_clean) >= n_features + 1:
            model = LinearRegression(fit_intercept=True)
            model.fit(X_clean, y_clean)
            
            # 保存系数和截距
            coef_matrix[:, lat_idx, lon_idx] = model.coef_
            intercept_matrix[lat_idx, lon_idx] = model.intercept_
        # 样本量不足时，保持默认的NaN值

关键细节说明 #

• valid_mask的逻辑：确保每个时间步的所有特征和目标都无缺失，完全实现成对删除的效果
• 增加样本量检查：避免因有效样本太少导致模型无法拟合（线性回归需要至少特征数+1个独立样本）
• 未满足条件的点直接保留NaN，后续可根据需求处理这些无效点

内容的提问来源于stack exchange，提问作者Logan