分布式存储服务器
社区干货
9年演进史:字节跳动 10EB 级大数据存储实战
作为目前字节跳动内部存储量及集群规模最大的分布式存储系统,HDFS 一直伴随着字节跳动关键业务的飞速扩张而快速发展。本文从 HDFS 发展历程入手,介绍发展路径上的重大挑战及解决方案。 ... HDFS 平台在公司内部已经成长为总数十万台级别服务器的大平台,支持了 10 EB 级别的数据量。----------------------------------------------------------------------------------------------------------------...
三分钟了解大数据技术发展史|社区征文
Doug cutting 大佬在基于谷歌的三篇论文开发出了 hadoop hdfs 分布式文件存储、MapReduce 计算框架,实际上从 hadoop 开源代码中窥见大数据并没有多么高深的技术难点,大部分实现都是基础的 java 编程,但是对业界的影响是非常深远的。那个时候大多数公司还是聚焦在单机上,如何尽可能提升单机的性能,需求更贵的服务器,谷歌通过把许多廉价的服务器通过分布式技术组成一个大的存储、计算集群给业界应对存储计算问题提供了新的发展思路...
分布式数据缓存中的一致性哈希算法|社区征文
我们以分布式缓存场景为例,分析一下一致性哈希算法环的原理。首先将缓存服务器( ip + 端口号)进行哈希,映射成环上的一个节点,计算出缓存数据 key 值的 hash key,同样映射到环上,并顺时针选取最近的一个服务器节点作为该缓存应该存储的服务器。具体实现见后续的章节。比如说,当存在 A,B,C,D 四个缓存服务器时,它们及其 key 值为 1 的缓存数据在一致性哈希环上的位置如下图所示,根据顺时针取最近一个服务器节点的规则,该缓存数...
9年演进史:字节跳动 10EB 级大数据存储实战
# 背景## **HDFS** **简介**HDFS 全名 Hadoop Distributed File System,是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项:- 和本地文件系统一样的目录... HDFS 平台在公司内部已经成长为总数十万台级别服务器的大平台,支持了 10 EB 级别的数据量。**当前在字节跳动,** **HDFS** **承载的主要业务如下:**- Hive,HBase,日志服务,Kafka 数据存储 - Yarn,Flink 的计...
特惠活动
分布式存储服务器-优选内容
分布式存储服务器-相关内容
三分钟了解大数据技术发展史|社区征文
Doug cutting 大佬在基于谷歌的三篇论文开发出了 hadoop hdfs 分布式文件存储、MapReduce 计算框架,实际上从 hadoop 开源代码中窥见大数据并没有多么高深的技术难点,大部分实现都是基础的 java 编程,但是对业界的影响是非常深远的。那个时候大多数公司还是聚焦在单机上,如何尽可能提升单机的性能,需求更贵的服务器,谷歌通过把许多廉价的服务器通过分布式技术组成一个大的存储、计算集群给业界应对存储计算问题提供了新的发展思路...
使用 DTS 迁移华为云分布式缓存服务 DCS 单机或主备的实例数据至火山引擎
本文介绍如何通过火山引擎的数据库传输服务 DTS 将华为云的分布式缓存服务 DCS 单机或主备的实例数据迁移至火山引擎。 注意事项本文仅适用于迁移华为云实例类型为单机、主备的实例。 DTS 在执行全量数据迁移时将占用源端和目标端一定的资源,可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器规格较低,可能会加重数据库的压力,甚至导致数据库服务不可用。建议在执行数据迁移前评估业务压力,在业务低峰期执行数据迁移...
分布式数据缓存中的一致性哈希算法|社区征文
我们以分布式缓存场景为例,分析一下一致性哈希算法环的原理。首先将缓存服务器( ip + 端口号)进行哈希,映射成环上的一个节点,计算出缓存数据 key 值的 hash key,同样映射到环上,并顺时针选取最近的一个服务器节点作为该缓存应该存储的服务器。具体实现见后续的章节。比如说,当存在 A,B,C,D 四个缓存服务器时,它们及其 key 值为 1 的缓存数据在一致性哈希环上的位置如下图所示,根据顺时针取最近一个服务器节点的规则,该缓存数...
9年演进史:字节跳动 10EB 级大数据存储实战
# 背景## **HDFS** **简介**HDFS 全名 Hadoop Distributed File System,是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项:- 和本地文件系统一样的目录... HDFS 平台在公司内部已经成长为总数十万台级别服务器的大平台,支持了 10 EB 级别的数据量。**当前在字节跳动,** **HDFS** **承载的主要业务如下:**- Hive,HBase,日志服务,Kafka 数据存储 - Yarn,Flink 的计...
大数据文件存储-火山引擎
大数据文件存储是面向大数据和机器学习生态的文件存储和加速服务。支持完整的HDFS语义,无需修改代码即可使用高可靠,低成本,高可用和无限容量的分布式文件系统。与火山引擎 VKE/VCI 相结合提供近端数据加速,多级数据缓存等能力
什么是对象存储 TOS
火山引擎对象存储 TOS(Tinder Object Storage)是火山引擎提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。您可以通过 RESTful API 接口、SDK 和工具等多种形式使用火山引擎 TOS。通过网络,您可以在任何应用、任何时间、任何地点管理和访问火山引擎 TOS 上的数据。 产品优势规模海量 火山引擎 TOS 通过自研分布式对象存储技术,通过领先的架构与技术支持,目前内部部署对象存储机器万台规模,存储规模超过 EB。传...
应用场景
本文主要为您介绍火山引擎容器服务(VKE)的常见应用场景。 云原生 AI基于容器集群为 GPU、RDMA 等异构资源提供统一的运维管理能力,为面向 AI 业务的分布式存储层提供统一的运维管理能力,支撑 AI 模型开发、训练、推... 无需购买和管理底层服务器等基础设施。 应用微服务化改造对传统单体应用进行容器化微服务改造,提高业务模块可变更、可运维、可扩展能力。 支持业务灰度发布、弹性伸缩和全链路数据监控,提高企业生产力。 与微服务集...
KubeWharf:为什么说 k8s 是新时代的 Linux|社区征文
整个数据中心抽象成一台服务器,一切皆应用,像使用个人电脑一样使用 Sealos!### KubeWharf官网:https://github.com/kubewharfKubeWharf 是一套以 Kubernetes 为基础构建的分布式操作系统,由一组云原生组件构成,专注于提高系统的可扩展性、功能性、稳定性、可观测性、安全性等,以支持大规模多租集群、在离线混部、存储和机器学习云原生化等场景。那么 以 Kubernetes 为内核的分布式操作系统,还需要做哪些事情呢。随着 k...
字节跳动 NoSQL 的探索与实践
> 本文整理自火山引擎开发者社区技术大讲堂第三期演讲,主要介绍了 NoSQL 的前世今生和发展脉搏,以及字节跳动 NoSQL 的实践。**作者:王佳毅|火山引擎存储&数据库解决方案负责人**## NoSQL 应用的现状什么是 NoSQL?我们知道关系型数据库强调 CAP 理论:Consistency,Availability 和 Partition Tolerance,这三者不可兼得。谈到 NoSQL,我们会引入 BASE 概念:- Basically Available:分布式系统在出现故障时允许损失部分可用性,...
