Basemap绘制大规模插值数据触发MemoryError如何优化

你遇到的内存爆炸是冗余逻辑+参数误用共同导致的，核心问题有两个：

• 你已经完成过一次插值并将格点结果存入了CSV，后续绘图时根本不需要再调用OrdinaryKriging对这些格点数据做二次插值。克里金算法会生成尺寸为「输入点数量 × 输出格点数量」的协方差矩阵，属于O(n²)级别的内存消耗，是这次申请93.9GiB内存的直接原因。
• 现有逻辑存在参数不匹配问题：你硬编码了输入数据的reshape长度，还通过extend_data将输入点数量扩充到原来的3倍，同时生成绘图网格的步长参数和原始插值网格不匹配，进一步放大了内存开销。

优先采用第一种改法，完全避免无意义的内存消耗：

方案1：直接读取已插值的格点数据绘图（推荐） #

你存储的CSV里已经是插值完成的规则格点数据，只需要还原成二维网格结构即可直接绘图，完全不需要重新插值，修改后的代码如下：

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.basemap import Basemap
import pandas as pd

def load_data():
    df = pd.read_csv(r"GridFile.csv")
    return df

def get_grid_data(df):
    # 自动计算原始网格的行列数，不需要硬编码尺寸
    unique_lons = np.sort(df['Longitude'].unique())
    unique_lats = np.sort(df['Latitude'].unique())
    nlon = len(unique_lons)
    nlat = len(unique_lats)
    
    # 将一维数据还原为二维网格，纬度按从南到北排序对应数组行
    lats_grid, lons_grid = np.meshgrid(unique_lats, unique_lons, indexing='ij')
    values_grid = df.sort_values(by=['Latitude', 'Longitude'])['Value'].values.reshape(nlat, nlon)
    
    # 处理经度跨投影边界的问题，仅扩展网格用于绘图，不参与插值
    lons_grid_ext = np.concatenate([lons_grid-360, lons_grid, lons_grid+360], axis=1)
    lats_grid_ext = np.concatenate([lats_grid, lats_grid, lats_grid], axis=1)
    values_grid_ext = np.concatenate([values_grid, values_grid, values_grid], axis=1)
    
    return lons_grid_ext, lats_grid_ext, values_grid_ext

def prepare_map_plot():
    figure, axes = plt.subplots(figsize=(10,10))
    basemap = Basemap(projection='robin', lon_0=0, lat_0=0, resolution='l', area_thresh=1000000, ax=axes) 
    basemap.drawcoastlines() # 可按需添加海岸线、国界线等地图要素
    return figure, axes, basemap

def plot_mesh_data(lons_grid, lats_grid, values_grid, basemap):
    # 将地理经纬度转成Basemap投影坐标
    x, y = basemap(lons_grid, lats_grid)
    colormesh = basemap.contourf(x, y, values_grid, 32, cmap='RdBu_r')
    color_bar = basemap.colorbar(colormesh, location='bottom', pad="10%") 

df = load_data()
lons_grid, lats_grid, values_grid = get_grid_data(df)
figure, axes, basemap = prepare_map_plot()
plot_mesh_data(lons_grid, lats_grid, values_grid, basemap)
plt.show()

方案2：后续需要调整数据重新插值时的优化方法 #

如果你后续修改了数值需要重新插值，不要把规则格点当成散点喂给克里金，同时调整参数降低内存占用：

• 不要对已经是规则网格的数据用克里金插值，重采样用scipy.interpolate.griddata或者数组直接重采样即可，内存占用能降低99%以上。
• 如果必须用克里金：
  • 去掉无意义的输入点3倍扩充逻辑，仅在绘图阶段做网格经度扩展即可
  • 放大网格步长delta，做全球示意图用5-10度步长足够，不需要1度甚至更小的步长
  • 初始化OrdinaryKriging时加参数exact_values=False, nlags=10，减少协方差矩阵计算量

内容的提问来源于stack exchange，提问作者Weiss