如何用Python从NetCDF文件提取CHESS-SCAPE数据集地表风速数据

我尝试使用CHESS-SCAPE数据集，通过Python获取英国全域1980-2080年所有网格点的月度地表风速数据。该数据集为NetCDF格式，处理时遇到以下问题：

• 读取单时间切片数据导出CSV后出现随机零散值，推测读取方式有误，代码示例：

import pandas as pd
import numpy as np
import xarray as xr

data = xr.open_dataset('chess-scape.nc', chunks={})

wind_speed = data['sfcWind']

df = pd.DataFrame(wind_speed.isel(time=1199).values)

df.to_csv('windspeed.csv')

data.close()

• 尝试直接读取wind_speed.values[1199]会将整个数据集加载到内存，导致RAM占满。
• 现有一个.dat格式的数据集，不知道如何将NetCDF数据处理成类似格式。

1. 正确读取单时间切片并避免内存溢出 #

使用xarray的isel()配合to_dataframe()直接将切片数据转为结构化DataFrame，无需手动提取values，同时利用分块读取优化内存：

import xarray as xr
import pandas as pd

# 按时间分块打开数据集，降低内存占用
ds = xr.open_dataset('chess-scape.nc', chunks={'time': 12})
wind_speed = ds['sfcWind']

# 提取指定时间切片，转为带经纬度索引的DataFrame
time_slice = wind_speed.isel(time=1199).to_dataframe().reset_index()

# 导出结构化CSV，包含lat、lon、sfcWind三列
time_slice.to_csv('windspeed_clean.csv', index=False)
ds.close()

这种方式导出的CSV不会出现零散值，因为to_dataframe()会自动关联网格的空间维度信息。

2. 批量处理全时间段数据 #

如果要处理1980-2080年的全部数据，建议按时间分块迭代处理，避免一次性加载全部数据：

import xarray as xr

ds = xr.open_dataset('chess-scape.nc', chunks={'time': 12})  # 按年度分块
wind_speed = ds['sfcWind']

# 遍历每个时间块，逐块导出
for i, chunk_len in enumerate(wind_speed.chunks['time']):
    start_idx = sum(wind_speed.chunks['time'][:i])
    end_idx = start_idx + chunk_len
    chunk_data = wind_speed.isel(time=slice(start_idx, end_idx)).to_dataframe().reset_index()
    chunk_data.to_csv(f'windspeed_chunk_{i}.csv', index=False)

ds.close()

3. 转换为.dat格式 #

气象领域的.dat通常是空格/制表符分隔的纯文本，结构多为lat lon time sfcWind或按网格点时序排列。可以按以下步骤转换：

import xarray as xr

ds = xr.open_dataset('chess-scape.nc', chunks={'time': 12})
# 将经纬度维度堆叠为单个points索引
wind_speed = ds['sfcWind'].stack(points=('latitude', 'longitude'))

# 转换为二维表格：行是网格点（lat-lon组合），列是时间
wind_df = wind_speed.unstack('time').to_dataframe()

# 导出为空格分隔的.dat文件
wind_df.to_csv('windspeed_data.dat', sep=' ', index=True)
ds.close()

如果你的.dat是二进制格式，可以用numpy.save()保存为二进制.npy后重命名，或用struct模块自定义二进制结构，但优先尝试文本格式的.dat导出。

内容的提问来源于stack exchange，提问作者jdreid5