Kaggle开启GPU却未被调用的问题求助(大数据预处理场景)
问题:Kaggle预处理73GB数据集时无法调用GPU导致内核崩溃
背景
我在Kaggle上传了约73GB的海表温度(SST)数据集,用于模型训练前的预处理,核心需求是通过插值补全数据中的大量缺失值,当前使用的代码如下:
import xarray as xr import dask # Ensuring Dask's distributed scheduler is set up from dask.distributed import Client client = Client() # Loading the combined SST dataset dataset_path = '/kaggle/input/combined-sst-data/combined_sst_data.nc' ds = xr.open_dataset(dataset_path, engine='h5netcdf', chunks={'time': 'auto'}) # # Rechunk the dataset so the 'time' dimension is in a single chunk # ds_rechunked = ds.chunk({'time': -1}) # # Now, try to interpolate missing values across the 'time' dimension # sst_filled = ds_rechunked['sea_surface_temperature'].interpolate_na(dim='time', method='linear') # # Since operations with Dask are lazy, trigger computation to evaluate results # sst_filled = sst_filled.compute() # # Example to save output data - Kaggle allows you to write files # sst_filled.to_netcdf('cleaned_sst_data.nc') ds_grouped = ds.groupby('time').mean() # Ensure all operations are completed if using Dask ds_grouped = ds_grouped.compute()
核心问题
即使开启了Kaggle的GPU加速器,运算过程始终只调用CPU(如图:CPU占用状态),导致运算未完成内核就崩溃。
已尝试的排查动作
- 查阅过Kaggle论坛的相关讨论,有其他用户遇到相同问题,但未找到有效解决方法
- 看到StackOverflow上有观点认为预处理更适合用CPU而非GPU,但不确定这个结论是否已经过时
我刚接触该领域,对相关技术概念的理解还不清晰,希望能得到针对性的解决思路或建议。
内容的提问来源于stack exchange,提问作者54m4gr4
相关产品推荐
相关产品推荐

