Data Catalog经历了一个从0到1在火山引擎公有云部署并逐步优化和迭代发布10+版本的过程,在这个过程中经历不少挑战,下面将介绍其中比较典型的问题以及我们探索并实践的一些解决方案。## 网络和数据安全为保证网络安全和多租户数据安全,火山引擎上公有云产品部署的环境划分为“公共服务区”和“售卖区”,同时售卖区又分割为若干私有网络(即VPC),然后公共服务区和售卖区以及售卖区的VPC之间都是网络隔离的。Data Catalog会依赖...
作者:任静思,火山引擎云原生工程师> 本文整理自火山引擎开发者社区 Meetup 第八期演讲,主要介绍了字节跳动轻量级 Kubernetes 多租户方案 KubeZoo 的适用场景和实现原理。## Kubernetes 多租户模型伴随着云原... 另外一种是公有云或者对租户的网络隔离性有较强要求的场景,我们可以在创建租户对象的时候分配对应的 VPC 和子网。当通过 Virtual Kubelet 共享资源池的时候,会同步 Pod 到后端集群,该同步过程中也会同步这个 V...
主要介绍了字节跳动轻量级 Kubernetes 多租户方案 KubeZoo 的适用场景和实现原理。 Kubernetes多租户模型 伴随着云原生技术的发展和推广,Kubernetes 已经成为了云计算时代... **租户网络隔离(VPC)**在网络隔离方面可以细分为两个场景:* 第一种场景是所有的租户都来自同一个公司的内部。在这种场景下信任度比较高,安全和审计也比较完善。这时后端集群通常可以采用一种扁平的网络...
鱼和熊掌不可兼得?火山引擎弹性裸金属云服务器EBM(Elastic Bare Metal Service)正式上线,在性能方面,火山引擎EBM实例做到了软硬件架构协同,优势兼得。对比传统云服务器, 火山引擎EBM实例提供物理机级别的租户间隔... 3. 支持公有云VPC网络,可根据业务需求规划 VPC网络,与云上产品无缝互通,切实保障用户云上资源使用中的便捷和安全。 4. 相比传统物理机,可实现分钟级的资源交付,保障用户云上资源使用的弹性。4. 同时支持按量计...
创建业务线 租户管理员需要先到数据服务 > 系统管理 > 业务线管理模块中,创建业务线。详见业务线管理。 创建项目 租户管理员或业务线管理员需到数据服务 > 系统管理 > 项目管理模块中,创建项目。详见项目管理。 添加账户权限 添加数据服务角色,为 API 开发人员添加相应的权限。详见账户权限管理。 网络配置 不同网络环境,您可根据实际情况进行公网、VPC 相关网络配置。详见网络配置。 2 使用流程数据服务主要流程如下: 2.1 ...
作者:任静思,火山引擎云原生工程师> 本文整理自火山引擎开发者社区 Meetup 第八期演讲,主要介绍了字节跳动轻量级 Kubernetes 多租户方案 KubeZoo 的适用场景和实现原理。## Kubernetes 多租户模型伴随着云原... 另外一种是公有云或者对租户的网络隔离性有较强要求的场景,我们可以在创建租户对象的时候分配对应的 VPC 和子网。当通过 Virtual Kubelet 共享资源池的时候,会同步 Pod 到后端集群,该同步过程中也会同步这个 V...
并且数据源与资源组在同一个VPC网络中;或也可另行开通,详见资源组管理。 2 背景信息在 DataLeap 中,通常通过数据集成功能,定期将系统中产生的业务数据导入至大数据存储。SQL 任务进行计算后,再定期将计算结果导出至您指定的数据源中,以便进一步展示或运行使用。 3 项目创建登录 DataLeap 租户控制台。 单击左侧导航栏的项目管理,进入项目管理页面。 单击创建项目按钮,进入创建项目页面,完成项目基础信息、项目管控、服务绑定等...
主要介绍了字节跳动轻量级 Kubernetes 多租户方案 KubeZoo 的适用场景和实现原理。 Kubernetes多租户模型 伴随着云原生技术的发展和推广,Kubernetes 已经成为了云计算时代... **租户网络隔离(VPC)**在网络隔离方面可以细分为两个场景:* 第一种场景是所有的租户都来自同一个公司的内部。在这种场景下信任度比较高,安全和审计也比较完善。这时后端集群通常可以采用一种扁平的网络...
任务发布成功后,您便可以在任务运维界面上,查看到已发布的任务。本文以任务实例诊断为例,介绍如何查看任务实例执行详情、错误信息等分析。 1 使用前提已完成准备工作中一系列的账号及权限准备工作。 开通 DataLeap 服务时您已经在服务中开通独享数据集成资源组,并且数据源与资源组在同一个VPC网络中;或也可另行开通,详见资源组管理。 已完成创建项目任务中的相关操作。 2 进入实例运维登录 DataLeap 租户控制台。 在左侧导航...
已在tesezh-01下创建VPC1、在tesezh-02下创建VPC2,且VPC1和VPC2的私网网段无重叠。 相关信息目前已有信息如下图所示,图中VPC1、VPC2、ECS1、ECS2为已创建的资源,VPN网关1和VPN网关2是下述操作中将要创建的资源。... VPN网关和用户网关的关系如下表所示: 账号 VPC名称 VPN网关 网关出口IP 用户网关 tesezh-01 VPC1 VPNGW-01 180.XX.XX.207 CGW-01 tesezh-02 VPC2 VPNGW-02 180.XX.XX.209 CGW-02 创建IPsec连接登录账号tesez...
VPC 网络访问时,数据库实例的白名单中,需要加上 100.64.0.0/10 网段。 通过公网连接方式的数据源,数据源需开通公网连接。MySQL 数据源需将下方数据服务平台的公网地址添加至数据库实例白名单中。 区域 数据服务平台的公网地址 华北 180.184.102.216 华东 180.184.177.79 华南 180.184.214.174 EMR Doris 和 EMR StarRocks 数据源,需在安全组放开 8030、9030 端口。 2 进入数据服务登录 DataLeap租户控制台。 在概览界...
3 使用限制EMR StarRocks 集群和 RDS MySQL 实例以及 DataSail 独享数据集成资源组需要在同一个 VPC 下,并且在同一个可用区下,确保网络能够互相访问。 RDS MySQL 为 5.7 及以上版本。 EMR StarRocks 集群为 EMR-3.2.1 及以上版本。 4 操作流程4.1 创建 MySQL 数据源登录 DataLeap 租户控制台 。 在上方服务地区下拉框中,选择相应的地区,目前已支持华东2(上海)、华北2(北京)、华南1(广州)地区。 选择地区后,在概览界面,显示...
ECS现已支持通过控制台变更实例绑定的VPC、子网以及安全组。 部分用户需要针对不同的项目/业务场景特点来规划ECS资源与网络配置,因此当用户需要调整规划时往往需要变更ECS与私有网络(子网、安全组)的绑定关系来适配新的业务需求。现控制台支持变更ECS的VPC,可以让用户更方便快捷的调整ECS与VPC的绑定关系。 特性说明: 仅支持ECS更换为同项目下的VPC。 支持仅变更子网。 不支持仅变更私网IP地址。 不支持仅变更安全组。 要了解...