云原生大数据是大数据平台新一代架构和运行形态。随着字节跳动内部业务的快速增长,传统大数据运维平台的劣势开始逐渐暴露,如组件繁多,安装运维复杂,与底层环境过度耦合;对业务方来说缺少开箱即用的日志、监控、告警功能等。在此背景下,我们进行了一系列云原生大数据运维管理实践。通过云原生的方式进行运维管理,最终达到弱化业务方对状态的感知,屏蔽环境的差异,统一不同环境下的使用体验。作者|字节跳动资深研发工程师...
> 云原生大数据是大数据平台新一代架构和运行形态。随着字节跳动内部业务的快速增长,传统大数据运维平台的劣势开始逐渐暴露,如组件繁多,安装运维复杂,与底层环境过度耦合;对业务方来说缺少开箱即用的日志、监控、告警功能等。在此背景下,我们进行了一系列云原生大数据运维管理实践。通过云原生的方式进行运维管理,最终达到弱化业务方对状态的感知,屏蔽环境的差异,统一不同环境下的使用体验。作者|字节跳动资深研发工程师-罗来锋...
安装运维复杂,在生产中使用需要非常多的专家人力支持;然后,传统大数据架构没有 CICD 机制,缺乏测试和质量控制流程;最后传统大数据缺少开箱即用的高可用、多租户、日志、监控、告警、认识、授权、审计、计费等能力。本专题将邀请云原生大数据的一线技术专家来分享他们的实践。**议题:****字节跳动云原生大数据的发展之路** **讲师:****余炜强-火山引擎云原生计算架构师****时间:3月18日 14:00-14:45****议题简介:...
安装运维复杂,在生产中使用需要非常多的专家人力支持;然后,传统大数据架构没有 CICD 机制,缺乏测试和质量控制流程;最后传统大数据缺少开箱即用的高可用、多租户、日志、监控、告警、认识、授权、审计、计费等能力。本专题将邀请云原生大数据的一线技术专家来分享他们的实践。**议题简介**字节跳动云原生大数据的发展之路讲师:余炜强-火山引擎云原生计算架构师时间:3月18日 14:00-14:45议题简介:随着字节跳动旗下业务...
相关视频
> 云原生大数据是大数据平台新一代架构和运行形态。随着字节跳动内部业务的快速增长,传统大数据运维平台的劣势开始逐渐暴露,如组件繁多,安装运维复杂,与底层环境过度耦合;对业务方来说缺少开箱即用的日志、监控、告警功能等。在此背景下,我们进行了一系列云原生大数据运维管理实践。通过云原生的方式进行运维管理,最终达到弱化业务方对状态的感知,屏蔽环境的差异,统一不同环境下的使用体验。作者|字节跳动资深研发工程师-罗来锋...
用户在使用云服务器时,可能会遇到本地盘故障的情况,不同业务对于坏盘可能有不同的期望运维方式:对于上层业务多副本等对单机数据可用性要求不高的用户,通常选择整机冷迁移的方式快速恢复;对于数据可用性要求更高且上层业务具有单盘隔离能力的用户,往往希望仅更换受损的单块盘,最大程度保留实例上未受损盘的数据。 针对本地盘故障场景,火山引擎云服务器系统事件进行了优化,针对不同需求提供了换盘和冷迁移两种运维方式,分别对应“D...
安装运维复杂,在生产中使用需要非常多的专家人力支持;然后,传统大数据架构没有 CICD 机制,缺乏测试和质量控制流程;最后传统大数据缺少开箱即用的高可用、多租户、日志、监控、告警、认识、授权、审计、计费等能力。本专题将邀请云原生大数据的一线技术专家来分享他们的实践。**议题:****字节跳动云原生大数据的发展之路** **讲师:****余炜强-火山引擎云原生计算架构师****时间:3月18日 14:00-14:45****议题简介:...
批量作业是火山引擎ECS打造的原生自动化运维工具,免密码、免登录即可在多台云服务器实例上执行(Shell、Python)命令。相比用户登录实例手动输入命令,或通过第三方开源运维工具(如Ansible),批量作业的使用门槛更低(不需要部署和调试),运维效率更高。 批量作业支持如下功能特性: (安装Agent的实例)可以免登录对云服务器执行命令,并查看执行结果。最高支持200个云服务器实例并发执行。 任务中可以使用系统内置的公共命令,或用户自定...
在之前的版本中,如果用户已经购买了大量的云服务器实例(Linxu操作系统),希望在存量实例上执行自动化运维操作,需要通过开源工具(如Ansible)批量安装,或手动输入命令安装。部署过程比较繁琐,没有体现批量作业对运维的效率提升。 从2023年9月开始,支持在云服务器控制台上白屏化安装批量作业Agent,可以有效降低用户使用门槛。用户可以在"批量作业->客户端管理"页面选中需要安装Agent的实例,执行批量安装操作。安装完成后重启实例,即可...
实践规划本最佳实践通过火山引擎云服务器、私有网络、NAT 网关等产品进行 Ceph 部署,本文中相关产品规划如下: 产品或服务 本文示例 备注 私有网络 名称:ceph-vp... 将卸载节点的认证密钥从本地目录移除ceph-deploy forgetkeys名词解释云服务器 云服务器 ECS(Elastic Compute Service)是一种简单高效、处理能力可弹性伸缩的计算服务。ECS帮助您构建更稳定、安全的应用,提升运维效...
安装运维复杂,在生产中使用需要非常多的专家人力支持;然后,传统大数据架构没有 CICD 机制,缺乏测试和质量控制流程;最后传统大数据缺少开箱即用的高可用、多租户、日志、监控、告警、认识、授权、审计、计费等能力。本专题将邀请云原生大数据的一线技术专家来分享他们的实践。**议题简介**字节跳动云原生大数据的发展之路讲师:余炜强-火山引擎云原生计算架构师时间:3月18日 14:00-14:45议题简介:随着字节跳动旗下业务...
本节主要介绍使用容器服务(VKE)时如何选择云服务器(ECS)类型以及选择时的注意事项。 集群形态VKE 的控制组件由云平台托管部署,用户无需关心 Kubernetes 集群 Master 节点的选型和运维工作,只需创建 Worker 节点即可... 请参见 实例选型最佳实践。 节点规划通常 Kubernetes 集群可以被视为将一组单机节点抽象成的一个大的超级节点。该超级节点总的计算资源就是所有组成节点的资源的总和。但是由于调度策略、节点管理消耗等原因可能导...