You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Kaggle开启GPU却未被调用的问题求助(大数据预处理场景)

问题:Kaggle预处理73GB数据集时无法调用GPU导致内核崩溃

背景

我在Kaggle上传了约73GB的海表温度(SST)数据集,用于模型训练前的预处理,核心需求是通过插值补全数据中的大量缺失值,当前使用的代码如下:

import xarray as xr
import dask

# Ensuring Dask's distributed scheduler is set up
from dask.distributed import Client
client = Client()

# Loading the combined SST dataset
dataset_path = '/kaggle/input/combined-sst-data/combined_sst_data.nc'
ds = xr.open_dataset(dataset_path, engine='h5netcdf', chunks={'time': 'auto'})

# # Rechunk the dataset so the 'time' dimension is in a single chunk
# ds_rechunked = ds.chunk({'time': -1})

# # Now, try to interpolate missing values across the 'time' dimension
# sst_filled = ds_rechunked['sea_surface_temperature'].interpolate_na(dim='time', method='linear')

# # Since operations with Dask are lazy, trigger computation to evaluate results
# sst_filled = sst_filled.compute()

# # Example to save output data - Kaggle allows you to write files
# sst_filled.to_netcdf('cleaned_sst_data.nc')

ds_grouped = ds.groupby('time').mean()

# Ensure all operations are completed if using Dask
ds_grouped = ds_grouped.compute()

核心问题

即使开启了Kaggle的GPU加速器,运算过程始终只调用CPU(如图:CPU占用状态),导致运算未完成内核就崩溃。

已尝试的排查动作

  • 查阅过Kaggle论坛的相关讨论,有其他用户遇到相同问题,但未找到有效解决方法
  • 看到StackOverflow上有观点认为预处理更适合用CPU而非GPU,但不确定这个结论是否已经过时

我刚接触该领域,对相关技术概念的理解还不清晰,希望能得到针对性的解决思路或建议。

内容的提问来源于stack exchange,提问作者54m4gr4

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.06.25 13:53:29