BigQuery数组是否有最大大小？相关性能与存储问题咨询

1. UI冻结是否仅为界面问题？ #

是的，这大概率只是BigQuery UI的性能限制问题。当单条记录的数组包含大量元素时，UI在渲染和展示这些数据时会因内存占用过高、渲染压力大而出现冻结，但后台的查询执行本身是正常的。你可以通过两种方式验证：

• 使用bq命令行工具执行相同查询，查看是否能正常返回结果
• 将查询结果写入另一个BigQuery表，检查表是否成功创建且数据完整

2. BigQuery数组的建议量级上限 #

BigQuery官方没有明确给出数组元素数量的推荐上限，但从实际使用经验来看：

• 单个数组元素数量控制在1万以内时，查询性能和UI展示都比较稳定
• 如果数组元素超过10万，可能会开始影响查询执行效率，比如增加内存消耗、延长处理时间——因为BigQuery处理大数组时需要更多计算资源来展开、聚合或操作元素
• 另外，BigQuery单条记录大小上限为100MB，数组元素过多（比如每个元素是大字符串）可能会触发这条限制

3. 数组元素增加对表大小的影响是否与新增记录类似？ #

本质上是类似的，因为BigQuery按数据实际字节数计算存储量。无论是新增一条记录，还是在现有记录的数组中添加一个元素，只要新增的字节数相同，对表大小的影响就一致。
不过有一点区别：数组元素嵌套在单条记录中，查询数组部分元素时，BigQuery仍需读取整个数组所在的记录；如果拆分为独立记录，可能可以利用分区、聚类等优化手段减少扫描的数据量。

代码示例优化建议 #

如果tmp_table需要和my_table关联，当前写法会让每条my_table记录生成包含tmp_table所有数据的数组，这可能不符合预期。建议添加关联条件：

select     
  reporting_date
  , array(
      select struct(id, status) 
      from tmp_table
      where tmp_table.reporting_date = my_table.reporting_date -- 添加关联条件
    ) as test_field
from my_table

内容的提问来源于stack exchange，提问作者CSquare