本篇文章提纲如下:- Spark on K8S- Kyuubi:Spark SQL Gateway- CatalogService:湖仓一体元数据架构实践- LAS Batch Scheduler:云原生批处理调度器- UIService:云原生 Spark History Server- Fa... Server Discovery/Load Balance:使用 ZK/ETCD 进行服务发现和负载均衡,客户在提交作业的过程中会通过 ZK/ETCD 的负载均衡策略路由到一台 KyuubiServer 上管理作业执行。- Servers:支持多个 KyuubiServer,启...
Jupyter Notebook 是一个 Web 应用。通常认为其有两个核心的概念:Notebook 和 Kernel。- Notebook 指的是代码文件,一般在文件系统中存储,后缀名为ipynb。Jupyter Notebook 后端提供了管理这些文件的能力,用户可... 我们还针对性地改进了 JupyterLab 的 UI。这其中包括将整个 JupyterLab 使用的代码编辑器从 CodeMirror 统一到 DataLeap 数据研发使用的 Monaco Editor,同时还接入了 DataLeap 提供的 Python & SQL 代码智能补全功...