批量裁剪NETcDF4文件并合并为CSV时循环异常求助

问题场景 #

尝试批量裁剪一批NetCDF4文件，随后合并为单个CSV文件，但for循环无法正常运行，原代码如下：

import os
import xarray as xr
import netCDF4
import pandas as pd
import numpy as np
import glob


max_lat= -15
min_lat= -20
max_lon= -68
min_lon= -71


#for filename in glob.glob("/path/to/assignment/file*.txt"):
for filename in glob.glob("D:\Precip\*.nc"):
    print(filename)
    data=xr.open_dataset(filename,decode_times=False)

mask_lon = (data.longitude >= min_lon) & (data.longitude <= max_lon)
mask_lat = (data.latitude >= min_lat) & (data.latitude <= max_lat)   

cropped_data = data.where(mask_lon & mask_lat , drop=True)

print(cropped_data['E'])

df=data['P'].to_dataframe()

问题原因及修正步骤 #

• Windows路径转义错误：原路径"D:\Precip\*.nc"中的反斜杠\会被Python识别为转义字符，导致glob无法匹配文件。可改为双反斜杠"D:\\Precip\\*.nc"或原始字符串r"D:\Precip\*.nc"。
• 代码缩进错误：mask_lon、mask_lat、cropped_data等核心处理逻辑都在for循环体外，导致循环仅执行一次甚至报错，所有逻辑必须缩进放入循环内部。
• 缺失CSV合并逻辑：原代码仅将单个文件的P变量转为DataFrame，但未收集所有文件数据进行合并，需要用列表存储每个文件的处理结果，最后统一合并输出。

修正后的完整代码 #

import os
import xarray as xr
import pandas as pd
import numpy as np
import glob


max_lat = -15
min_lat = -20
max_lon = -68
min_lon = -71

# 存储所有文件的处理结果
df_list = []

# 使用原始字符串避免路径转义问题
for filename in glob.glob(r"D:\Precip\*.nc"):
    print(f"Processing file: {filename}")
    data = xr.open_dataset(filename, decode_times=False)

    # 生成区域裁剪掩码
    mask_lon = (data.longitude >= min_lon) & (data.longitude <= max_lon)
    mask_lat = (data.latitude >= min_lat) & (data.latitude <= max_lat)   
    
    cropped_data = data.where(mask_lon & mask_lat, drop=True)
    
    # 打印裁剪后的'E'变量（可选调试用）
    print(cropped_data['E'])
    
    # 将裁剪后的'P'变量转为DataFrame并加入列表
    df_cropped = cropped_data['P'].to_dataframe()
    df_list.append(df_cropped)

# 合并所有文件的DataFrame
final_df = pd.concat(df_list)

# 保存为CSV文件
final_df.to_csv("merged_precip_data.csv", index=True)

额外提示 #

• 如果decode_times=False导致时间变量解析异常，可尝试移除该参数，xarray通常能自动识别NetCDF的时间格式。
• 若文件数量多或单文件体积大，可考虑使用dask进行分块处理，优化内存占用。

内容的提问来源于stack exchange，提问作者Felicity Hayward