关于Azure Databricks不同工作区中Pivot/Unpivot及集合函数的问询

一、Pivot/Unpivot在数据工程工作区的可用性 #

Pivot和Unpivot在Azure Databricks数据工程工作区完全可用，因为Databricks SQL工作区与数据工程工作区底层依赖同一Spark SQL引擎，语法和功能支持保持一致。

你可以在数据工程工作区的Notebook中直接使用这些语法，示例如下：

Pivot示例 #

SELECT *
FROM sales_data
PIVOT (
  SUM(revenue)
  FOR region IN ('North', 'South', 'East', 'West')
)

Unpivot示例 #

SELECT id, region, revenue
FROM pivoted_sales
UNPIVOT (
  revenue FOR region IN (North, South, East, West)
)

二、数据工程工作区与SQL工作区的集合函数差异 #

两者核心Spark SQL集合函数（如collect_list、collect_set、array_agg、map_agg等）的支持几乎无差异，但存在以下细节区别：

• 扩展能力不同：数据工程工作区的Notebook支持通过Scala/Python编写自定义集合操作函数，灵活度更高；SQL工作区仅支持通过SQL UDF定义自定义函数，功能扩展相对受限。
• 场景适配不同：SQL工作区针对BI分析场景做了适配，部分集合函数的输出更适配可视化工具，但核心计算逻辑与数据工程工作区一致。
• 版本依赖差异：数据工程工作区的集群由用户自行配置，若使用较低版本Spark，可能缺失部分新增集合函数（如Spark 3.0+的array_join增强功能）；SQL工作区使用托管集群，版本更新更及时，通常支持最新函数特性。

内容的提问来源于stack exchange，提问作者Johnson