如何从Beam SQL（SqlTransform）中输出包含嵌套Row结构的结果？

问题解答 #

1. 正确获取嵌套Row的方案 #

你遇到的两个问题均为对应Beam SDK版本的已知限制，按以下操作即可解决：

• 如果你继续使用Calcite方言：升级Beam SDK到2.33.0及以上版本，你写的SELECT ROW(foo, bar) as my_nested_row FROM PCOLLECTION语句就会正常返回嵌套ROW结构，不会被拆分为带$$后缀的平字段。如果需要明确指定嵌套行内的字段名，可以用语法SELECT ROW(foo AS foo, bar AS bar) AS my_nested_row FROM PCOLLECTION，生成的Schema和你预期完全一致。
• 如果你要使用ZetaSQL方言：升级Beam SDK到2.40.0及以上版本，STRUCT()构造语法的支持在该版本正式合入，不会再抛出RESOLVED_MAKE_STRUCT相关的不支持异常。

2. 问题归属说明 #

这两个问题都属于Beam SQL核心模块的特性缺失/缺陷，和运行器无关。无论你使用DirectRunner还是后续迁移到DataflowRunner，只要SDK版本满足要求就能正常运行，不需要额外修改运行器相关配置。

内容的提问来源于stack exchange，提问作者Shinichi TAMURA