multiple single-user Jupyter notebook servers (Python/IPython/tornado) that are monitored by Spawners;- an authentication class that manages how users can access the system;整个系统架构图如... Async开源社区的版本没有完全异步化,为了单 eg server 支持更多的 kernel,我们做了完全的异步化改造。 优化前,只能支持 10+ kernel,优化后,能够支持 100+ kernel(上限没具体测试过)。4、image支持用户选择自...
(https://jupyter-client.readthedocs.io/en/stable/messaging.html)。在 DataLeap 数据研发平台,开发过程围绕的核心是任务。用户可以在项目下的任务开发目录创建子目录和任务,像 IDE 一样通过目录树管理其任务。... 并完成了各处所需的 async 逻辑改造,保证了服务的并发能力。另外,我们利用了字节跳动内部的负载均衡(nginx 七层代理集群)能力,部署多个 EG 实例,并指定单个 JupyterLab 实例的流量总是打到同一个 EG 实例上,实现了...
(https://jupyter-client.readthedocs.io/en/stable/messaging.html)。在 DataLeap 数据研发平台,开发过程围绕的核心是任务。用户可以在项目下的任务开发目录创建子目录和任务,像 IDE 一样通过目录树管理其任务。... 并完成了各处所需的 async 逻辑改造,保证了服务的并发能力。另外,我们利用了字节跳动内部的负载均衡(nginx 七层代理集群)能力,部署多个 EG 实例,并指定单个 JupyterLab 实例的流量总是打到同一个 EG 实例上,实现了...
Jupyter Notebook 是 Notebook 的传统实现,它有着极其丰富的生态以及庞大的用户群体,相信许多人都用过这个软件。事实上,在字节跳动数据平台发展早期,就有了在物理机集群上统一部署的 Jupyter(基于多用户方案 Jupyt... 并完成了各处所需的 async 逻辑改造,保证了服务的并发能力。另外,我们利用了字节跳动内部的负载均衡(nginx 七层代理集群)能力,部署多个 EG 实例,并指定单个 JupyterLab 实例的流量总是打到同一个 EG 实例上,实现了...