Spark 3.2.0及更早版本中Apache Iceberg数组大小获取替代方案咨询

首选方案：使用size()函数 #

Spark 3.3.0新增的array_size其实是size()函数的别名，在3.2.2版本中直接调用size()就能实现完全相同的效果——它接收数组类型字段，返回数组的元素总数。

针对Iceberg表的示例查询：

SELECT
  your_id_column,
  size(your_array_column) AS array_element_count
FROM your_iceberg_table;

备选方案（仅特殊场景使用）：explode+聚合统计 #

如果因某些限制无法使用size()，可以通过LATERAL VIEW explode将数组拆分为多行，再按原字段分组统计行数。但这种方法性能远低于直接调用size()，不建议在大数组或大数据量场景下使用：

SELECT
  your_id_column,
  COUNT(*) AS array_element_count
FROM your_iceberg_table
LATERAL VIEW explode(your_array_column) exploded
GROUP BY your_id_column;

提示：两种方法都会正常统计数组中的NULL元素，结果一致。

内容的提问来源于stack exchange，提问作者Alok Singh