使用Python处理NetCDF4文件：先过滤再转Pandas DataFrame

方法一：使用xarray（推荐，简洁高效） #

xarray支持懒加载，无需一次性读取全量数据，能直接对NetCDF文件做维度筛选，完美适配你的需求：

import xarray as xr
import pandas as pd

# 懒加载NetCDF文件，仅读取元数据，不加载全量数据到内存
ds = xr.open_dataset('your_large_file.nc')

# 两步筛选：先限定2019年1月的时间范围，再提取每天09:00的数据
filtered_ds = ds.sel(time=slice('2019-01-01', '2019-01-31')) \
                .where(ds.time.dt.hour == 9, drop=True)

# 将筛选后的数据集转换为Pandas DataFrame
df = filtered_ds.to_dataframe()

# 可选：重置索引，把时间等维度列转为普通列
df = df.reset_index()

关键说明：

• xr.open_dataset默认启用懒加载，避免一开始就因读取全量数据触发MemoryError；
• sel(time=slice(...))快速切片时间范围，where(..., drop=True)直接移除不符合小时条件的时间点，大幅减少数据量；
• 转换DataFrame时仅处理筛选后的小批量数据，内存压力极低。

方法二：使用netCDF4库（原生底层操作） #

如果不想依赖xarray，可直接用netCDF4库手动筛选索引后读取数据：

from netCDF4 import Dataset
import pandas as pd
import numpy as np

# 打开NetCDF文件
nc_file = Dataset('your_large_file.nc', 'r')

# 读取时间变量并转换为datetime对象（需匹配文件中time变量的units）
time_var = nc_file.variables['time']
times = pd.to_datetime(time_var[:], unit=time_var.units)

# 生成筛选掩码：2019年1月 + 小时为9
mask = (times >= '2019-01-01') & (times <= '2019-01-31') & (times.hour == 9)
selected_idx = np.where(mask)[0]

# 读取目标变量数据（替换为你需要的变量名，比如'temperature'）
target_data = nc_file.variables['temperature'][selected_idx]

# 构造DataFrame（多维变量需根据实际维度调整，比如flatten处理）
df = pd.DataFrame({
    'time': times[selected_idx],
    'temperature': target_data.flatten()
})

# 关闭文件
nc_file.close()

关键说明：

• 先读取时间变量筛选出符合条件的索引，再仅读取对应索引的变量数据，避免加载全量；
• 注意时间变量的units参数，需与NetCDF文件中time变量的属性一致（常见如'hours since 1970-01-01'）；
• 多维变量需根据实际结构调整数据处理方式（比如保留经纬度维度或展平）。

注意事项 #

• 确认NetCDF文件中的时间变量名称（通常为time，若不同需替换为实际名称）；
• 若筛选后仍有大量数据（比如高分辨率网格数据），可进一步按空间维度筛选，或分块处理；
• xarray方法更适合多变量、多维数据的场景，代码更简洁易维护。

内容的提问来源于stack exchange，提问作者ImFabien75