使用xarray将CSV转NetCDF时文件体积膨胀4x-12x且存储缓慢求助
优化xarray转换CSV到NetCDF的文件体积与耗时问题
我手里有一大堆大型CSV文件,本来想用xarray把它们转成NetCDF(.nc)格式,结果发现转存的时候不仅耗时特别久,生成的.nc文件体积居然是原CSV的4到12倍!
比如我跑了下面这段示例代码,生成的.nc文件体积差不多是原CSV的4倍:
import xarray as xr import pandas as pd # 读取大型CSV文件 df = pd.read_csv('large_dataset.csv') # 转换为xarray Dataset格式 ds = xr.Dataset.from_dataframe(df) # 保存为NetCDF文件 ds.to_netcdf('converted_data.nc')
结果很明显:生成的.nc文件体积约为原.csv文件的4倍。
之前我看到有帖子提到可以通过修改相关设置来优化这个问题,想请教下具体该怎么操作才能缩小文件体积、加快存储速度?
内容的提问来源于stack exchange,提问作者Diego
相关产品推荐
相关产品推荐

