使用h2o.splitFrame遇超时错误及RTMP_sid名称查找失败问题求助

问题重现 #

在RStudio Server环境下，使用h2o.splitFrame拆分4.8亿行的大数据集时，频繁出现两种异常：

1. 触发curl超时错误：

Error in .Call(R_curl_fetch_memory, enc2utf8(url), handle, nonblocking) : 
  reached elapsed time limit

2. 偶尔完全失败，抛出RTMP对象名称查找错误：

ERROR: Unexpected HTTP Status code: 400 Bad Request (url = http://localhost:54321/99/Rapids)
java.lang.IllegalArgumentException
 [1] "java.lang.IllegalArgumentException: Name lookup of 'RTMP_sid_bbef_2' failed"
 ...（堆栈信息省略）

执行代码：

h2o.init(max_mem_size = '950G', nthreads = 127) 
parts = h2o.splitFrame(data_h2o, ratios = c(0.7,0.15), seed =1) # train-valid-test split

环境信息：

• R 4.2.2 Patched, Ubuntu 22.04.2 LTS
• h2o_3.40.0.1

排查方向 #

• 资源配置过载：设置的950G内存和127线程可能接近或超过系统实际可用资源，导致H2O的JVM进程或Jetty web服务不稳定，无法处理大负载请求。
• 单次操作负载过高：4.8亿行数据集一次性拆分成三个子集，引发内存和CPU峰值，导致临时生成的RTMP对象（H2O的临时数据对象）被提前回收或丢失。
• RStudio curl超时限制：RStudio默认的curl请求超时时间较短，大数据集拆分耗时过长会触发超时中断。
• H2O版本bug：h2o_3.40.0.1存在已知的大内存操作下临时对象管理问题，可能导致RTMP名称查找失败。

解决方案 #

1. 调整H2O初始化参数，避免资源过载 #

将内存和线程数调整为系统可用资源的80%左右，避免抢占全部资源导致服务不稳定：

# 示例：系统可用内存900G、CPU核心128时的调整
h2o.init(max_mem_size = '720G', nthreads = 100) 

2. 分步拆分数据集，降低单次操作负载 #

不要一次性拆分成三个子集，分两步执行拆分，减少单次操作的内存和CPU压力：

# 第一步：拆分出训练集（70%）和剩余部分（30%）
train_rest <- h2o.splitFrame(data_h2o, ratios = 0.7, seed = 1)
train <- train_rest[[1]]
rest_data <- train_rest[[2]]

# 第二步：从剩余30%中拆分验证集（总数据的15%，即剩余部分的50%）和测试集（总数据的15%）
valid_test <- h2o.splitFrame(rest_data, ratios = 0.5, seed = 1)
valid <- valid_test[[1]]
test <- valid_test[[2]]

3. 延长H2O REST请求超时时间 #

在R中设置更长的超时时间，避免大操作被提前中断：

options(h2o.rest.api.timeout = 3600) # 设置为1小时，可根据实际耗时调整

4. 升级H2O到最新稳定版 #

h2o_3.40.0.1的后续版本修复了多个大内存操作相关的bug，升级到最新稳定版可有效解决RTMP对象查找问题：

# 卸载旧版本并安装最新版
remove.packages("h2o")
install.packages("h2o", type="source", repos="http://h2o-release.s3.amazonaws.com/h2o/latest_stable_R")

5. 监控系统资源，避免其他进程抢占 #

执行拆分操作前，用系统命令确认空闲资源：

# 查看内存使用
free -h
# 查看CPU负载
top

关闭不必要的后台进程，确保H2O有足够的资源执行操作。

内容的提问来源于stack exchange，提问作者Matthew Son