You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

使用xarray将CSV转NetCDF时文件体积膨胀4x-12x且存储缓慢求助

优化xarray转换CSV到NetCDF的文件体积与耗时问题

我手里有一大堆大型CSV文件,本来想用xarray把它们转成NetCDF(.nc)格式,结果发现转存的时候不仅耗时特别久,生成的.nc文件体积居然是原CSV的4到12倍!

比如我跑了下面这段示例代码,生成的.nc文件体积差不多是原CSV的4倍:

import xarray as xr
import pandas as pd

# 读取大型CSV文件
df = pd.read_csv('large_dataset.csv')
# 转换为xarray Dataset格式
ds = xr.Dataset.from_dataframe(df)
# 保存为NetCDF文件
ds.to_netcdf('converted_data.nc')

结果很明显:生成的.nc文件体积约为原.csv文件的4倍。

之前我看到有帖子提到可以通过修改相关设置来优化这个问题,想请教下具体该怎么操作才能缩小文件体积、加快存储速度?


内容的提问来源于stack exchange,提问作者Diego

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.05.20 06:56:35