Google Vertex AI AutoML训练因BigQuery数据集过大失败，采样后仍报错求排查

1. 先明确AutoML的硬限制 #

Vertex AI AutoML部分任务（比如结构化数据分类/回归）的原始数据集硬上限就是100GB（对应报错里的107374182400 bytes）。但你采样50%还触发相同错误，基本可以排除是数据集真超了，大概率是其他逻辑问题。

2. 实打实查采样表的实际大小 #

别靠直觉判断采样后的表大小，直接在BigQuery里跑这个查询算实际占用：

SELECT size_bytes FROM `你的项目ID.你的数据集.INFORMATION_SCHEMA.TABLES` WHERE table_name = '你的采样表名'

注意：BigQuery算表大小是包含所有数据的，包括隐藏副本、未过滤的分区数据。如果你的采样逻辑是SELECT * FROM 原表 WHERE RAND() < 0.5但原表是分区表，没指定分区范围的话，新表可能还是带了大量数据，等于采样没生效。

3. 检查数据源是不是视图而非物理表 #

如果用的是BigQuery视图当数据源，AutoML会算视图背后所有原始表的总大小，不是视图查询结果的大小。哪怕视图只返回50%数据，只要原始表总和超100GB，照样报错。这种情况必须把视图结果导出成物理表再用。

4. 分区/聚类表的坑 #

如果原表是分区表，AutoML计算大小的时候可能会把所有分区的数据都算进去，哪怕你只打算用其中一部分。解决办法是创建一个只包含目标分区数据的新物理表，再拿去训练。

5. 其他小概率问题 #

• 表元数据延迟：BigQuery的表大小元数据可能没及时更新，跑ALTER TABLE 你的表名 REPAIR OPTIONS刷新下再查大小。
• 任务类型选错：不同AutoML任务的数据集上限不一样，比如图像/视频任务上限更高，结构化数据是100GB，确认你选的任务类型对应限制是否匹配。

内容的提问来源于stack exchange，提问作者Fnguyen