运维工程师openstack
社区干货
字节跳动云原生大数据平台运维管理实践
我们进行了一系列云原生大数据运维管理实践。通过云原生的方式进行运维管理,最终达到弱化业务方对状态的感知,屏蔽环境的差异,统一不同环境下的使用体验。作者|字节跳动资深研发工程师-罗来锋 ... 因为日常需要维护这些复杂的配置及依赖等,日积月累下就会与这套环境形成了一个深度耦合造成移植困难。随着近几年云原生概念的兴起,我们也尝试将这些工具进行云原生改造来解决以上问题。 **云原生场景...
字节跳动云原生大数据平台运维管理实践
我们进行了一系列云原生大数据运维管理实践。通过云原生的方式进行运维管理,最终达到弱化业务方对状态的感知,屏蔽环境的差异,统一不同环境下的使用体验。作者|字节跳动资深研发工程师-罗来锋 ## 业务现状与... 因为日常需要维护这些复杂的配置及依赖等,日积月累下就会与这套环境形成了一个深度耦合造成移植困难。随着近几年云原生概念的兴起,我们也尝试将这些工具进行云原生改造来解决以上问题。 ### 云原生场景特性...
数据库顶会 VLDB 2023 论文解读:字节跳动如何解决超大规模流式任务运维难题
大幅降低了超大规模场景下流式任务的维护成本。 
特惠活动
运维工程师openstack-优选内容
运维工程师openstack-相关内容
2023总结-从0到1实现云原生DevOps实践|社区征文
顾名思义DevOps的出现是为了打通开发和运维之间的壁垒,让开发和运维共同承担发布的责任,一起想办法提高系统发布的效率。诚然,提高发布效率确实是DevOps要解决的问题之一,但并不是全部。DevOps真正的目的是为了提高研发效能,将产品经理、开发工程师、测试工程师、运维工程师结合在一起,化为一个有机的整体,共同推动产品的快速迭代和更新。所以DevOps是根据公司的实情,基于研效平台并通过一定的规则将一堆工具集整合在一起,帮助产品...
2022技术盘点之平台云原生架构演进之道|社区征文
统一运维管理、自动化运维等能力能极大简化云用户、云运维、云运营各角色的工作复杂度,提升管理效率和资源交付效率,最终帮助企业降低云上成本,提升人员效率,加速企业的数字化转型。## 二 高可用架构云的时代需... 此阶段允许工程师解决大多数安全漏洞和缺陷。- 第三阶段:安全风险通知及可视化,针对工具检测出来的安全风险问题进行周期性通知及可视化,让全员知道安全问题,数字可视化安全问题,进行安全指标监控。- 第四阶段:补...
迁移指南说明
降低运维门槛,加速数据洞察和业务决策。本迁移指南为您介绍将企业原大数据平台迁移至火山引擎 EMR 的路径和最佳实践,内容包括: 数据迁移、作业迁移、元数据迁移 成本评估和优化建议 1 准备工作1.1 迁移路径在大数... 实现和维护新系统。我们建议您的团队包含项目经理、大数据工程师、基础设施工程师、安全工程师等角色。 2 信息采集为了方便成本评估、架构规划、机型配置选型,需要采集一系列集群和组件指标,包括 大数据组件及其版...
年终学习大礼包|云原生大数据知识地图
高效运维、可观测性等方面存在诸多不足,已经越来越无法适应当下的发展需求。具体来讲,传统大数据架构主要存在以下几方面的问题:==============================================================================... 数仓工程师,做数据开发、数据 ETL、数据处理、清洗所用到的组件,如使用 Zeppelin Notebook 做数据开发,对接数据治理平台、调度平台;* **数据科学** **:** 一般适用于 AI 场景,如 Jupyter、Ray等;上述三个场景...
演讲预告|云原生大数据系列实践分享
高效运维、可观测性等方面存在诸多不足,已经越来越无法适应当下的发展需求。云原生大数据方案,逐渐成为众多企业解决传统大数据平台痛点的不二之选。2023年8月5-6日,09:00-12:30,DataFun 举办 DataFunSummit 云原... **程航 字节跳动 计算引擎开发工程师** **演讲简介** :在字节跳动内部,Spark 是应用最广泛的计算引擎,每天任务数超过 150W,被广泛应用于大规模数据处理,机器学习等场景。线上集群磁盘类型多样,包括 SSD、HDD...
一文带你读懂:云原生时代业务监控|社区征文
帮助运维同学高效实现容器集群的管理;对于开发同学来说,我们所负责的业务系统经过上云部署之后,如果需要进行应用健康性和业务数据监控,会遇到哪些可观测性监控的问题,又应该如何解决呢?# 3、云原生破局利剑与理... 2012 年开始由前 Google 工程师在 Soundcloud 以开源软件的形式进行研发,并且于 2015 年早期对外发布早期版本。2016 年 5 月继 Kubernetes 之后成为第二个正式加入 CNCF 基金会的项目,同年 6 月正式发布 1.0 版本...
AI元年:一名前端程序员的技术之旅|社区征文
系统运维、服务端架构至实践均有无微不至的理解和经验。而不是今天学点Java、明天了解点JavaScript,你就是一个全栈了,这不叫全栈。这是典型的“伪全栈”。一个出色的工程师至少应该深入理解自己专业领域的核心知... 尽管该库现在已经停止维护,但在2018年,出现了许多JS的机器学习和深度学习框架,如`Tenforflow.js`、`synaptic`、`Brain.js`、`WebDNN`等等。由于浏览器的计算能力受限,像`keras.js`和`WebDNN`这样的框架只支持加载...
2023 平台云原生探索与实践|社区征文
运维自动化等功能帮助你更高效的管理云资源。利用云原生技术为企业应用现代化改造提供工具平台建设、落地实施 &咨询服务,覆盖基础设施现代化、架构现代化、开发运维现代化、数据现代化、安全现代化五个维度,推动... 服务注册发现需要独立在不同环境维护多个 Consul,在生产环节维护 Consul Cluster 成本比较高,需要独立自建集群,且集群的安全、性能、监控等都带来了极大挑战,这些运维工作对业务的帮助不是很大,而且是整体系统服务...
年终学习大礼包|云原生大数据知识地图
# 大势所趋:云原生大数据随着行业的快速发展和业务的高速迭代,数据量也呈爆炸式增长,传统的大数据架构在资源利用、高效运维、可观测性等方面存在诸多不足,已经越来越无法适应当下的发展需求。具体来讲,传统大数据... **数据工程:** 一般是大数据开发工程师、数仓工程师,做数据开发、数据 ETL、数据处理、清洗所用到的组件,如使用 Zeppelin Notebook 做数据开发,对接数据治理平台、调度平台;- **数据科学:** 一般适用于 AI ...
