出入湖的作业使用 Flink Application Mode 运行在 K8s 上。然后通过 Flink SQL Gateway 和 Session Mode 的 Flink Cluster 进行 OLAP 查询,提供了 JDBC 和 REST API 两种接口的返回结果。当然我们也需要使用 Catalog 管理元数据,这里不仅仅指 Iceberg 的元数据,还包括了其他第三方数据源的元数据,并利用定时任务进行后续的数据维护。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/d0672c...
=&rk3s=8031ce6d&x-expires=1714321238&x-signature=RliyUFkbr9RNrd7mWYfvzAOciD8%3D)上图是 Flink OLAP 在字节跳动的服务架构,Flink OLAP 通过 SQL Gateway 提供 Restfull 接口,用户可以通过 Client 向 SQL ... jobMaster接收所有Task完成的消息后,将作业置为结束。在实践中发现从资源申请到作业部署的过程中 QPS 性能下降明显。![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/8010ae...