BigQuery ML模型因会话时长上限提前终止的解决方法咨询

我正在创建BigQuery ML模型，但因所在项目的30分钟最大会话时长限制，模型提前终止。请问是否可以分块创建该模型以避免超时？比如减少所选列数（共460列）、行数（约100万行），或是调整OPTIONS中的参数？以下是创建模型时的OPTIONS配置：

model_type = 'BOOSTED_TREE_CLASSIFIER',
data_split_method = 'SEQ',
data_split_eval_fraction = 0.2,
data_split_col = 'DATE_COL',

booster_type = 'GBTREE',
max_iterations = 50, 
early_stop = false,
subsample = 0.8,
MIN_TREE_CHILD_WEIGHT = 1000,
COLSAMPLE_BYTREE = 0.3,
MAX_TREE_DEPTH = 6,
SUBSAMPLE = 0.7,

input_label_cols = ['COLx']

可行的优化方案 #

一、调整模型训练参数（优先尝试） #

• 开启early_stop=true：当前设置为false，开启后模型会在验证集性能不再提升时自动停止训练，无需跑完50次迭代，能大幅缩短训练时间。
• 降低max_iterations：如果开启早停后仍超时，可先把迭代次数降到20-30，验证能否在时限内完成，后续再根据效果调整。
• 清理重复参数：你同时设置了两次subsample（0.8和0.7），BigQuery会取最后一个值，但重复配置可能带来不必要的解析开销，建议保留一个即可。
• 微调特征采样比例：当前COLSAMPLE_BYTREE=0.3已经较低，若仍超时可尝试小幅降低（比如0.2），但注意不要过低影响模型效果。

二、精简特征数量 #

460列特征会显著增加训练复杂度，可按以下方式优化：

• 移除冗余特征：用CORR函数计算特征间相关性，去掉相关系数>0.8的特征；同时过滤掉方差极小、几乎无区分度的特征。
• 启用自动特征选择：在OPTIONS中添加FEATURE_SELECTION_MODE = 'AUTOMATIC'和FEATURE_SELECTION_THRESHOLD = 0.1（阈值可按需调整），让模型自动保留对标签贡献大的特征。

三、优化数据量 #

100万行数据本身不算大，但结合高维度特征可能拖慢速度，可尝试：

• 数据采样：用TABLESAMPLE SYSTEM (50 PERCENT)对训练数据做随机采样，先验证小数据量下模型能否正常训练，再逐步提升采样比例。
• 过滤无关数据：通过WHERE子句过滤掉不需要的历史数据，避免加载全量行。

四、分块训练的替代方案 #

BigQuery ML本身不支持直接分块创建模型，但可以通过以下方式间接实现：

• 预做特征工程：先通过BigQuery的聚合、编码等操作，把高维度特征转化为低维特征，保存到新表后再训练模型，减少训练时的计算量。
• 增量训练：如果数据按时间递增，可先训练初始模型，再用ML.UPDATE_MODEL逐步加入新数据，但这种方式更适合持续更新，不一定能解决首次训练超时问题。

内容的提问来源于stack exchange，提问作者Deezelmunky