You need to enable JavaScript to run this app. Pandas数据透视表应用Scipy高斯滤波后数据全为NaN的问题解决
优惠活动
大模型
产品
解决方案
定价
更多

Pandas数据透视表应用Scipy高斯滤波后数据全为NaN的问题解决

带NaN值数据的高斯滤波全空问题解决方案

问题根源

scipy.ndimage.gaussian_filter 采用标准线性卷积逻辑计算,不内置NaN值豁免机制。只要卷积窗口覆盖的邻域内存在任意NaN值,对应输出位置的计算结果就会直接变为NaN。稀疏结构的透视表中,绝大多数单元格的邻域范围内都存在NaN,因此滤波后会出现全空值的结果。

解决方案

采用 数值-权重分离滤波法,在完全保留原有NaN分布逻辑的前提下实现高斯平滑,不会因邻域缺失值直接清空计算结果,核心逻辑为:

  • 标记原数组的有效数值位置,生成和原数组同尺寸的有效掩码:非空位置为1,空值位置为0
  • 将原数组的NaN临时替换为0,避免卷积过程中NaN值向邻域传播
  • 对填充后的数值矩阵、有效掩码矩阵,使用完全相同的高斯滤波参数分别做卷积,分别得到邻域加权值总和、邻域有效权重总和
  • 最终平滑结果 = 邻域加权值总和 / 邻域有效权重总和;对邻域内没有任何有效数值的位置,保留NaN值

修改后的核心代码

import pandas as pd
import numpy as np
import scipy as sp
import scipy.ndimage
import os  # 原代码缺失的依赖导入

FILE_PATH = "."
def load_nut_data(file_path=FILE_PATH):
   csv_path = os.path.join(file_path, "csv_file.csv")
   return pd.read_csv(csv_path, usecols = ['GPSLon', 'GPSLat','NutCount'])
 
nut = load_nut_data()
Z = nut.pivot_table(index='GPSLon', columns='GPSLat', values='NutCount').T.values 
sigma = 1.2  # 替换为实际使用的sigma参数值

# ========== 替换原滤波逻辑的核心代码 ==========
# 生成有效掩码:非NaN位置为True
valid_mask = ~np.isnan(Z)
# 将NaN替换为0,避免滤波时传播空值
Z_filled = np.nan_to_num(Z, nan=0.0)
# 对数值矩阵做高斯滤波
smoothed_value = sp.ndimage.gaussian_filter(
    Z_filled,
    sigma=sigma,
    mode='grid-constant',
    cval=0.0
)
# 对有效掩码做同参数的高斯滤波,得到权重矩阵
smoothed_weight = sp.ndimage.gaussian_filter(
    valid_mask.astype(float),
    sigma=sigma,
    mode='grid-constant',
    cval=0.0
)
# 计算最终平滑结果,权重为0的位置保留NaN
Zg = smoothed_value / np.where(smoothed_weight == 0, np.nan, smoothed_weight)
# ==============================================

print(Zg)

注意事项

  • 两次滤波的sigma、mode、cval参数必须完全一致,否则会出现权重不匹配的计算偏差
  • 滤波时保持cval=0.0,可以保证数组边缘位置的权重计算逻辑和内部区域一致
  • 不要在滤波前直接用插值法填充NaN值,否则会改变原有数据的观测分布,引入额外偏差
  • 原代码中os模块未显式导入,运行时需要补充导入语句才能正常执行文件读取逻辑

内容的提问来源于stack exchange,提问作者Peter Jobe

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.01 21:45:03