Python循环匹配经纬度提取多日TRMM数据存文本问题排查

嘿，我立刻就发现了问题所在：你在循环处理TRMM文件时，每次都调用np.savetxt('Ground-match-trmm-0.25-loop2.dat', ...)，而np.savetxt默认是覆盖写入模式。这就意味着，每处理完一天的数据，前一天的结果就被完全替换了，最终文件里自然只保留了最后一次循环的内容（你提到的“仅包含首日数据”可能是循环顺序或者测试场景的特殊情况，但核心原因都是覆盖写入）。

要解决这个问题，我们需要把30天的数据都收集起来，一次性写入文件；或者在循环中使用追加模式写入。前者更高效，格式也更整齐，我先给你推荐这种方案：

修改后的完整代码 #

import numpy as np

# 加载参考点位的经纬度数据
data1 = np.loadtxt('location-new.dat')
in_lats1 = data1[:, 0]
in_lons1 = data1[:, 1]

# 初始化结果数组：前两列固定为参考经纬度
final_result = np.column_stack((in_lats1, in_lons1))

# 遍历所有TRMM文件
files3 = np.loadtxt('trmm-0.25', dtype=str)
for file_idx, file_name in enumerate(files3):
    # 读取当日的TRMM数据
    daily_trmm_data = np.loadtxt(file_name)
    lats = daily_trmm_data[:, 0]
    lons = daily_trmm_data[:, 1]
    target_values = daily_trmm_data[:, 2]
    
    # 为每个参考点位匹配最近的TRMM数据点
    daily_matched_values = []
    for ref_lat, ref_lon in zip(in_lats1, in_lons1):
        # 计算距离平方（不用开根号，节省计算资源）
        distance_sq = (lats - ref_lat)**2 + (lons - ref_lon)**2
        # 找到距离最小的点的索引
        closest_idx = np.argmin(distance_sq)
        daily_matched_values.append(target_values[closest_idx])
    
    # 将当日匹配到的数据作为新列添加到结果数组中
    final_result = np.column_stack((final_result, daily_matched_values))
    
    # 可选：添加进度提示，方便跟踪处理进度
    print(f"Processed file {file_idx+1}/{len(files3)}: {file_name}")

# 一次性把所有数据写入文件，格式为：Lat Lon Day1 Day2 ... Day30
np.savetxt('Ground-match-trmm-0.25-loop2.dat', final_result, fmt='%9.3f')

关键修改点解析 #

1. 初始化结果容器：一开始就把参考点位的经纬度作为固定列，后续每天匹配到的TRMM数据都作为新列追加进去，最终数组的结构完全符合你想要的Lat + Lon + 30日数据格式。
2. 替换索引查找方式：用np.argmin直接获取最小距离的索引，比原来的np.where(dist==np.min(dist))[0][0]更简洁高效，还能避免多个点距离相同时的索引混乱问题。
3. 一次性写入文件：彻底避免了循环中覆盖写入的问题，所有数据处理完成后统一写入，格式更整齐，运行效率也更高。

备选方案（大内存场景） #

如果你的TRMM数据量极大，一次性加载所有数据到内存会有压力，可以改用追加模式写入，但要注意格式对齐：

import numpy as np

data1 = np.loadtxt('location-new.dat')
in_lats1 = data1[:, 0]
in_lons1 = data1[:, 1]

files3 = np.loadtxt('trmm-0.25', dtype=str)
for file_idx, file_name in enumerate(files3):
    daily_trmm_data = np.loadtxt(file_name)
    lats = daily_trmm_data[:, 0]
    lons = daily_trmm_data[:, 1]
    target_values = daily_trmm_data[:, 2]
    
    daily_matched_values = []
    for ref_lat, ref_lon in zip(in_lats1, in_lons1):
        distance_sq = (lats - ref_lat)**2 + (lons - ref_lon)**2
        closest_idx = np.argmin(distance_sq)
        daily_matched_values.append(target_values[closest_idx])
    
    if file_idx == 0:
        # 第一次写入时包含经纬度和首日数据
        initial_data = np.column_stack((in_lats1, in_lons1, daily_matched_values))
        np.savetxt('Ground-match-trmm-0.25-loop2.dat', initial_data, fmt='%9.3f')
    else:
        # 后续只追加当日的数据列，注意要转成二维数组
        np.savetxt('Ground-match-trmm-0.25-loop2.dat', np.array(daily_matched_values).reshape(-1,1), 
                   fmt='%9.3f', mode='a')

如果你的TRMM数据是固定分辨率的规则网格（比如你提到的0.25°），可以提前计算每个参考点位对应的网格坐标，不用每次循环都计算距离，能把运行速度提升好几倍，尤其是处理大量点位和文件时。

内容的提问来源于stack exchange，提问作者Azam