R环境下Keras预测超大数据集时重复列优化及提速降内存方案咨询

一、矩阵生成慢的核心优化方案 #

• 放弃R原生的矩阵生成逻辑，改用data.table做分块加载+预处理，它的fread分块读盘速度是原生read系列函数的5-10倍，同时直接在data.table框架下做列转换，不要中途转成data.frame再转矩阵，避免无效内存拷贝。参考代码：dt <- fread("your_data.csv", skip = start_row, nrows = 200000)，预处理完成后直接用as.matrix(dt)转换，比逐行/逐列拼接效率高一个量级。
• 关闭R的不必要内存拷贝选项：执行options(datatable.copy = FALSE)，预处理时尽量用原地修改操作，比如用:=赋值符修改data.table的列，不要生成新的中间对象。
• 不用sapply做批量预测，直接用Keras原生的predict_generator或者R的iterator接口，让数据加载和预测异步执行，CPU做预处理的同时GPU跑预测，消除两者的等待间隙，能把整体耗时压缩到接近纯预测的时长。

二、重复列的专属优化方案 #

不需要依赖Keras的自动识别能力，手动拆分输入即可充分利用重复列特征降低开销，你搜索到的RepeatVector功能也可以在预测阶段使用：

• 把输入拆分为两部分：第一部分是每行独有的前200-N列特征，第二部分是所有行完全相同的后N列特征，后者只需要存储1次即可，不需要每个批次重复生成。
• 预测阶段用k_repeat()函数（对应RepeatVector的预测阶段轻量实现），把1行N列的固定特征重复到和当前批次独有特征的行数一致，再和独有特征拼接后输入模型即可，完全不需要修改已经训练完成的模型结构。参考代码逻辑：

# 全局提取一次固定特征即可
fixed_feats <- k_constant(matrix(固定N列的数值, nrow = 1))
# 每个批次预测时执行
batch_unique_feats <- 加载当前批次的前200-N列矩阵
batch_fixed_feats <- k_repeat(fixed_feats, n = nrow(batch_unique_feats))
batch_full_feats <- k_concatenate(list(batch_unique_feats, batch_fixed_feats), axis = 2)
preds <- model(batch_full_feats)

这个方案可以直接降低30%以上的矩阵生成耗时和内存占用，因为你每个批次不用再处理重复的N列数据，只需要处理独有的部分。

三、额外性能优化点 #

• 如果用GPU跑预测，把批次大小调整到GPU显存刚好占满的阈值，比如从20万调整到50万/批次，减少CPU和GPU之间的数据传输开销。
• 预测前执行model <- compile(model, loss = NULL, optimizer = NULL)，去掉训练阶段的不必要配置，加快预测速度。
• 预测结果不用存成R的data.frame，直接用fwrite写到磁盘，避免内存溢出。

内容的提问来源于stack exchange，提问作者Fan