PySpark SQL如何在select时生成嵌套struct的列表类型字段

你可以直接使用Spark SQL内置的array()函数包裹已经生成的struct结构体，即可得到列表（数组）类型的a字段，修改后的查询代码如下：

df = spark.sql(
  '''
    SELECT
      array(
        named_struct(
          'b', b,
          'c', c
        )
      ) AS a
    FROM df_view
 '''
)

如果你的业务需求是将全表所有行的struct都合并到同一个数组内，最终只输出一条结果，可以使用聚合函数collect_list：

df = spark.sql(
  '''
    SELECT
      collect_list(
        named_struct(
          'b', b,
          'c', c
        )
      ) AS a
    FROM df_view
 '''
)

两种方案生成的a字段类型均为ArrayType(StructType)，写入Cosmos DB时会自动转换为你要求的JSON数组结构，无需额外处理。

内容的提问来源于stack exchange，提问作者rafaelcb21