Python：不占满内存计算多大型气候数据集的99百分位数

当然可以通过逐年加载、迭代处理的方式控制内存占用，核心是选择合适的分位数计算策略，以下分两种场景给出具体方案：

一、近似计算（推荐，内存友好） #

如果你的研究对百分位数的精度允许少量可控误差（气候研究中多数场景都满足），流式分位数草图算法是最优解。这类算法可以在不保留所有历史数据的前提下，通过维护一个紧凑的统计结构，逐步更新分位数估计，内存占用固定，完全适配逐年迭代的场景。

常用的算法包括t-digest、Greenwald-Khanna（GK）、CKMS，其中t-digest在处理极端分位数（比如99%）时表现更稳定。

具体操作流程 #

1. 为每个经纬度网格点初始化一个分位数草图对象；
2. 逐年加载当年的小时数据，遍历每个网格点，用当年的小时值更新对应网格的草图；
3. 更新完成后立即丢弃当年数据，释放内存；
4. 所有年份处理完毕后，从每个网格的草图中提取99百分位数。

伪代码示例（Python） #

from tdigest import TDigest
import numpy as np

# 初始化361×576网格的分位数草图
grid_digests = [[TDigest() for _ in range(576)] for _ in range(361)]

# 逐年处理数据
for year in range(1980, 2023):
    # 加载当年小时数据，假设shape为(小时数, 361, 576)，需自行实现load_year_data
    yearly_data = load_year_data(year)
    
    # 遍历每个网格更新草图
    for lat_idx in range(361):
        for lon_idx in range(576):
            grid_hourly_vals = yearly_data[:, lat_idx, lon_idx]
            grid_digests[lat_idx][lon_idx].update(grid_hourly_vals)
    
    # 强制释放当年数据内存
    del yearly_data

# 提取所有网格的99百分位数
p99_results = np.zeros((361, 576))
for lat_idx in range(361):
    for lon_idx in range(576):
        p99_results[lat_idx][lon_idx] = grid_digests[lat_idx][lon_idx].percentile(99)

这类算法的误差通常可以控制在1%以内，完全满足气候数据分析的常规需求，且内存占用仅与网格数量和草图大小有关，和年份数无关。

二、精确计算（内存开销较大） #

如果必须得到完全精确的99百分位数，也可以通过迭代方式实现，但需要额外的磁盘或内存存储中间结果：

1. 分块排序合并法：

   • 逐年加载数据，对每个网格点的当年小时数据进行排序，将排序后的数组保存到磁盘（每个网格一个文件，或按年份分块）；
   • 所有年份处理完成后，对每个网格点的所有分块排序数组进行多路归并，得到完整的排序序列，再计算99百分位数。
   • 这种方法不需要一次性加载所有数据，但磁盘IO开销较大，且需要存储所有排序后的分块数据。

2. 累计统计量法：

   • 逐年计算每个网格点的累计数据量、以及当年数据的分位数位置信息，最后通过合并统计量计算整体百分位数。但这种方法实现复杂，且本质上还是需要跟踪每个年份的关键数据点，内存开销依然会随年份增加而增长。

总结 #

优先选择流式近似分位数算法，既能严格控制内存占用，又能满足气候研究的精度要求；如果必须精确计算，分块排序合并是可行但效率较低的方案。

内容的提问来源于stack exchange，提问作者fivebyfive