求助：将Pandas经纬度-变量散点数据集高效转换为网格数据

针对你的问题，这里提供两个高效方案，避免df.pivot的内存占用问题，同时生成符合plt.colormesh()要求的网格数据：

方案一：利用Numpy直接重塑（内存最优） #

你的数据总量刚好是288*315=90720，说明是完整规则网格，无缺失值。核心思路是先按经纬度排序，再直接重塑数组：

1. 确认经纬度维度并排序
   先获取唯一的经纬度值并排序，明确哪个维度对应288，哪个对应315：

   # 获取排序后的唯一经纬度
   sorted_lons = df['lon'].unique()
   sorted_lons.sort()
   sorted_lats = df['lat'].unique()
   sorted_lats.sort()
   
   # 确认维度长度，比如sorted_lons长度为315，sorted_lats为288，对应最终网格(288,315)
   print(len(sorted_lons), len(sorted_lats))
   

   按纬度、经度排序，确保每个网格点位置对应正确：

   df_sorted = df.sort_values(by=['lat', 'lon'])
   

2. 重塑为目标网格数组
   提取var列的值，直接重塑成目标形状：

   var_grid = df_sorted['var'].values.reshape(len(sorted_lats), len(sorted_lons))
   

   此时var_grid的形状就是(288,315)，可直接传入plt.colormesh()：

   import matplotlib.pyplot as plt
   plt.colormesh(sorted_lons, sorted_lats, var_grid)
   plt.colorbar()
   plt.show()
   

方案二：使用xarray（灵活适配后续操作） #

xarray专门处理网格数据，内存效率远高于pandas的pivot，还能保留坐标信息：

1. 将DataFrame转为xarray Dataset

   import xarray as xr
   ds = xr.Dataset.from_dataframe(df.set_index(['lat', 'lon']))
   

2. 转换为规则网格
   利用unstack生成网格，内存占用更低：

   var_grid = ds['var'].unstack('lon').values
   

   也可以直接用xarray内置的绘图方法，无需手动处理网格：

   ds['var'].unstack('lon').plot.pcolormesh()
   plt.show()
   

关键注意事项 #

• 排序时要确认经纬度的维度对应关系，避免网格颠倒；
• 若存在少量重复点，可先执行df.drop_duplicates(subset=['lon', 'lat'])去重；若有缺失值，可使用df.pivot_table(index='lat', columns='lon', values='var', fill_value=0)填充，但内存占用会高于前两个方案。

内容的提问来源于stack exchange，提问作者VAL