使用随机采样SQL获取50k行时遭遇int64溢出问题求助

问题分析 #

你遇到的int64 overflow错误，本质是计算count(*) over()时，SQL引擎在分布式环境下累加分片行数的过程中，两个大整数相加超出了int64类型的最大值（9223372036854775807）——虽然最终总行数267,606,559远小于这个值，但分片统计的中间值相加时触发了溢出。

解决方案 #

方案1：将count结果转为浮点型

直接把count(*) over()强制转为浮点类型，让计算过程使用浮点运算，避免整数累加溢出：

SELECT      *
FROM        table
qualify     rand() <= 50000 / (count(*) over()::float)

方案2：先单独计算总行数

通过CTE先算出总行数并转为浮点，再关联原表进行采样，这种方式只计算一次总行数，效率更高：

WITH total_rows AS (
    SELECT COUNT(*)::float AS cnt FROM table
)
SELECT t.*
FROM table t, total_rows
qualify rand() <= 50000 / total_rows.cnt

方案3：使用TABLESAMPLE（引擎支持时）

如果你的SQL引擎支持TABLESAMPLE（比如Snowflake、PostgreSQL等），可以直接用近似采样语法，底层实现更高效，从根源避免count溢出问题：

-- 按比例采样，50000/267606559≈0.01868%，转成百分比传入
SELECT * FROM table TABLESAMPLE BERNOULLI(0.01868)

内容的提问来源于stack exchange，提问作者Sweepy Dodo