SQL代码报Max LOB size超限，如何优化使其正常运行？

问题场景 #

运行以下SQL代码时触发LOB大小超限错误：

with cte as (
select function_returning_array(start, end) as arr
from my_table
)
select array_agg(value) from cte, table (flatten(cte.arr));

错误信息：

Max LOB size (16777216) exceeded, actual size of parsed column is 37699772

优化方案 #

• 直接取消不必要的数组聚合
  如果你不需要把所有扁平化后的值重新聚合成一个超大数组，直接查询扁平化后的结果即可，完全避免生成超大LOB对象：

  select value 
  from my_table, table (flatten(function_returning_array(start, end)));
  

• 按维度拆分聚合
  若业务逻辑必须保留聚合操作，可通过分组拆分数据集，把大数组拆分成多个小分组的数组，确保每个分组的结果不超过LOB限制：

  -- 示例：按my_table中的group_key字段分组，根据实际业务替换为合适的分组字段
  select group_key, array_agg(value)
  from my_table, table (flatten(function_returning_array(start, end)))
  group by group_key;
  

• 调整LOB大小限制（权限允许时）
  如果你有对应权限，可以修改会话或账户级的LOB大小参数，以容纳更大的结果。以Snowflake为例：

  ALTER SESSION SET MAX_LOB_SIZE = 67108864; -- 将上限调整为64MB
  

  注意：此方法需评估系统资源承受能力，并非所有场景都适用。

• 优化数组生成函数
  检查function_returning_array的逻辑，看是否能减少返回的数组元素数量：比如过滤无关数据、调整时间步长（如果是生成时间序列）、限制结果范围等，从源头避免生成过大的数组。

内容的提问来源于stack exchange，提问作者SecretIndividual