Python中大型Xarray转DataFrame内存不足问题求解（Colab环境）

你当前代码内存溢出的核心是最后一步调用dask_t.compute()，会把整个200万点对应的全量数组一次性加载到内存生成Pandas DataFrame，完全浪费了Dask的分块懒执行特性。

方案1：直接使用Dask DataFrame替代Pandas（最优） #

不需要全量加载到内存，所有操作基于分块执行，适配任意数据规模：

import dask.dataframe as dd

# 直接调用Xarray内置方法转Dask DataFrame，无需手动处理维度转换
dask_df = xarray.to_dask_dataframe(dim_order=["x", "y", "time"])
# 转换为每行对应一个(x,y)空间点、每列对应一个时间点的宽表
dask_df_wide = dask_df.pivot_table(
    index=["x", "y"], 
    columns="time", 
    values=xarray.name  # 单变量数据集默认变量名为`__xarray_dataarray_variable__`，可替换为自己定义的变量名
).reset_index()
# 重命名时间列
dask_df_wide.columns = ["x", "y"] + [f"time_{i}" for i in range(xarray.sizes["time"])]

# 后续处理不需要全量compute，只需要在取最终小范围结果时调用compute即可
# 如需导出全量数据，直接调用to_csv会自动分块写入，不会爆内存
dask_df_wide.to_csv("./timeseries_output_*.csv", index=False)

方案2：必须使用Pandas DataFrame时，分块处理 #

如果后续逻辑依赖Pandas生态，不要一次性加载全量数据，逐块转换后写入文件：

import pandas as pd
import gc

chunk_size = 100000  # 可根据内存情况调整，单次加载10万行基本不会超出Colab免费版内存
total_rows = xarray.sizes["x"] * xarray.sizes["y"]
feat_cols = [f"time_{i}" for i in range(xarray.sizes["time"])]

for start_idx in range(0, total_rows, chunk_size):
    end_idx = min(start_idx + chunk_size, total_rows)
    # 仅计算当前块的数据
    current_chunk = dask_t[start_idx:end_idx].compute()
    current_df = pd.DataFrame(current_chunk, columns=feat_cols)
    # 追加写入CSV，仅第一次写入表头
    current_df.to_csv("./full_timeseries.csv", mode="a", header=start_idx==0, index=False)
    # 清理当前块内存
    del current_chunk, current_df
    gc.collect()

可选优化项 #

• 压缩数据类型：如果精度允许，提前将Xarray数据转为float32，内存占用直接减半：xarray = xarray.astype("float32")
• 调整分块大小：可以将Dask数组的单块大小控制在50-100MB，减少内存碎片
• 切换高内存运行时：如果是Colab付费用户，可切换到Pro版高内存运行时，内存容量提升至25GB以上，可直接支撑全量数据加载

内容的提问来源于stack exchange，提问作者dinar