数据存储服务器
社区干货
9年演进史:字节跳动 10EB 级大数据存储实战
超大数据规模 - 易扩展,容错率高## HDFS 在字节跳动的发展字节跳动已经应用 HDFS 非常长的时间了。经历了 9 年的发展,目前已直接支持了十多种数据平台,间接支持了上百种业务发展。从集群规模和数据量来说,HDFS 平台在公司内部已经成长为总数十万台级别服务器的大平台,支持了 10 EB 级别的数据量。**当前在字节跳动,** **HDFS** **承载的主要业务如下:**- Hive,HBase,日志服务,Kafka 数据存储 - Yarn,Flink 的计...
9年演进史:字节跳动 10EB 级大数据存储实战
目前已直接支持了十多种数据平台,间接支持了上百种业务发展。从集群规模和数据量来说,HDFS 平台在公司内部已经成长为总数十万台级别服务器的大平台,支持了 10 EB 级别的数据量。---------------------------------------------------------------------------------------------------------------------------- **当前在字节跳动,** **HDFS** **承载的主要业务如下:*** Hive,HBase,日志服务,Kafka 数据存储* Yarn,F...
分布式数据缓存中的一致性哈希算法|社区征文
各个服务器不会相互通信。它的分布式实现依赖于客户端的程序库,这也是 Memcached 的一大特点。比如第三方的 spymemcached 客户端就基于一致性哈希算法实现了其分布式缓存的功能。![]()其具体步骤如下:- 向 Memcached 添加数据,首先客户端的算法根据 key 值计算出该 key 对应的服务器。- 服务器选定后,保存缓存数据。- 获取数据时,对于相同的 key ,客户端的算法可以定位到相同的服务器,从而获取数据。在这个过程中...
火山引擎云存储选型指南 x 自动驾驶场景最佳实践
高扩展性的云存储服务。按照经典的划分方式,云存储一般分为块、文件、对象三大类型,其中文件存储一般又分为通用文件存储NAS、并行文件存储PFS、大数据文件存储等。而对象存储经过多年的发展和演进,已经成为存放非结构化数据的首选,并在大数据、数据湖、数据仓库领域逐步成为事实上的数据底座。在大部分业务场景中做云存储大类的选型是相对容易的,比如要为云服务器配置系统盘或数据盘会使用块存储,存放视频、图片、游戏安装包...
特惠活动
数据存储服务器-优选内容
数据存储服务器-相关内容
云服务器部署Ceph
本文以 CentOS 7.6为例 存储 系统盘 40GiB * 1数据盘 200GiB * 3 完成基础配置后,单击“下一步”,进行网络和高级配置。 在网络和安全组面板,参考下表,配置相关参数。 配置项 说明 网络 私有网络:选择已创建的 VPC(ceph-vpc)子网:选择已创建的子网(ceph-cluster-subnet) 安全组 选择默认安全组 单击“下一步:确认订单”。 在确认订单页面中,确认各项参数信息。确认无误后,勾选“我已阅读并同意《云服务器ECS 服务条款》”,并...
NAS 持久化存储最佳实践
NAS 提供了共享存储和持久化存储的服务,满足您需要多个 Pod 共享数据的应用场景。本文以静态创建 PV 的方式介绍如何使用 NAS 实现共享存储和持久化存储。 应用场景NAS 支持同时被多个 Pod 挂载,此时多个 Pod 可能同时修改相同数据,需要应用自行实现数据的同步。 有状态服务 NAS 的使用场景对磁盘 I/O 要求较高的应用。 读写性能相对于对象存储 TOS 高。 可实现跨主机文件共享,例如可作为文件服务器。 有状态服务 NAS 的使用方式手...
存储概述
存储类型的对比如下所示。 维度 EBS NAS TOS CloudFS 简介 弹性块存储 EBS 又称云盘,提供高可用、高可靠、高性能、弹性扩展的块存储设备,可以作为云服务器和弹性容器服务的可扩展硬盘使用。 文件存储 NAS,面向火山引擎弹性计算、容器服务、AI 智能应用提供一种高性能共享访问、持续在线、弹性扩展、跨地域访问的高性价比云存储服务。 对象存储 TOS,提供海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。 大数据文件...
火山引擎云存储选型指南 x 自动驾驶场景最佳实践
高扩展性的云存储服务。按照经典的划分方式,云存储一般分为块、文件、对象三大类型,其中文件存储一般又分为通用文件存储NAS、并行文件存储PFS、大数据文件存储等。而对象存储经过多年的发展和演进,已经成为存放非结构化数据的首选,并在大数据、数据湖、数据仓库领域逐步成为事实上的数据底座。在大部分业务场景中做云存储大类的选型是相对容易的,比如要为云服务器配置系统盘或数据盘会使用块存储,存放视频、图片、游戏安装包...
弹性块存储概述
弹性块存储EBS(Elastic Block Storage)是火山引擎提供的高可用、高可靠、高性能、弹性扩展的块存储设备,可以作为云服务器和弹性容器服务的可扩展硬盘使用。 弹性块存储类型弹性块存储又称云盘,根据用途可分为系统盘和数据盘。 类型 描述 系统盘 用于存储操作系统,只能随实例创建,生命周期与挂载的云服务器实例相同。 数据盘 用于存储应用数据,适用于I/O密集型应用、关系型数据库、NoSQL数据库、开发测试场景等。您可以在创建云服...
数据存储
数据存储支持查看火山引擎 E-MapReduce(EMR)Hive、湖仓一体分析服务 LAS 表存储资产明细情况,并提供公共规则及治理建议,可快速定位治理的主要侧重点,并提供治理操作/批量处理能力,协助治理负责人或治理实施者进行存... 下面为您介绍详细推荐优化项口径说明: 优化项 口径说明 优化建议 TTL 设置不合理 生命周期为未配置或永久保存,建议删除或者缩短 TTL。 根据近 90 天访问分区情况,建议删除或者缩短 TTL 为 7 天。 文件大小异...
云盘持久化存储最佳实践
StatefulSet 对应 Pod 的存储需要通过 StorageClass 来动态创建。每个 Pod 都会根据 StatefulSet 中定义的 VolumeClaimTemplate 来创建一个对应的 PVC,然后 PVC 通过 StorageClass 自动创建对应的 PV,并挂载给 Pod。因此,需要首先创建 StorageClass,即采用动态创建模式。 云盘类型云盘又称弹性块存储,根据用途可分为系统盘和数据盘。 系统盘:用于存储操作系统,只能随实例创建,生命周期与挂载的云服务器实例相同。 数据盘:用于存...
ECS云服务器搭建Windows系统AD域
本文以Windows Server 2012 R2 数据中心版64位操作系统为例,介绍如何搭建AD域。 关于AD活动目录AD(Active Directory)是面向Windows服务器的目录服务,存储了目录数据并且让管理员和网络用户能够轻松地查找和使用这些信息,进而实现高效安全的集中管理。有关AD的更多信息,请参见Active Directory 域服务概述。 前提条件创建两台ECS实例,分别作为域控制器(DC)和客户端(Client)。创建的实例需为NTFS分区,且支持DNS服务和TCP/IP协议。 ...
焱融文件存储系统部署及性能验证
作为存储性能测试的读写客户端。该3台高性能ECS测试机为可选部署。在实际的业务部署中,业务系统可以直接在同一VPC中访问焱融的文件系统服务。 部署示意图如下图所示。 前提条件注册火山引擎账号,并完成企业实名认证。您可以登录火山引擎控制台查看是否已经完成实名认证。 已创建1个VPC实例,详细步骤参见创建私有网络。 已创建4台本地SSD型ECS实例和3台高性能ECS实例,创建步骤参见购买云服务器,各实例的配置数据参见数据规划。 数...
