存储与服务器
社区干货
9年演进史:字节跳动 10EB 级大数据存储实战
易扩展,容错率高## HDFS 在字节跳动的发展字节跳动已经应用 HDFS 非常长的时间了。经历了 9 年的发展,目前已直接支持了十多种数据平台,间接支持了上百种业务发展。从集群规模和数据量来说,HDFS 平台在公司内部已经成长为总数十万台级别服务器的大平台,支持了 10 EB 级别的数据量。**当前在字节跳动,** **HDFS** **承载的主要业务如下:**- Hive,HBase,日志服务,Kafka 数据存储 - Yarn,Flink 的计算框架平台数据 -...
字节跳动高性能 Kubernetes 元信息存储方案探索与实践
所有组件都与 APIServer 交互,而 APIServer 则需要将集群元数据持久化到元信息存储系统中。当前,etcd 是 APIServer 唯一支持的元信息存储系统,随着单个集群规模的逐渐增大,存储系统的读写吞吐以及总数据量都会不断攀升,etcd 不可避免地会成为整个分布式系统的瓶颈。Kubernetes 元信息存储需求APIServer 并不能直接使用一般的强一致 KV 数据库作为元信息存储系统,它与元信息存储系统的交互主要包括数据全量和增量同...
火山引擎云存储选型指南 x 自动驾驶场景最佳实践
高扩展性的云存储服务。按照经典的划分方式,云存储一般分为块、文件、对象三大类型,其中文件存储一般又分为通用文件存储NAS、并行文件存储PFS、大数据文件存储等。而对象存储经过多年的发展和演进,已经成为存放非结构化数据的首选,并在大数据、数据湖、数据仓库领域逐步成为事实上的数据底座。在大部分业务场景中做云存储大类的选型是相对容易的,比如要为云服务器配置系统盘或数据盘会使用块存储,存放视频、图片、游戏安装包...
ECS 云服务器自定义镜像导入
## 实验名称云服务器自定义镜像导入## 实验介绍本期实验练习介绍了如何向火山引擎导入一个自定义镜像文件,并转换为镜像。在开始实验前需要先进行如下准备工作:- TOS对象存储中创建存储桶- 安装VirtualBox虚拟机- 下载CentOS7镜像## 关于实验预计部署时间:60分钟级别:初级相关产品:镜像受众:通用## 准备工作### 1. 在TOS对象存储控制台创建一个存储桶
特惠活动
存储与服务器-优选内容
存储与服务器-相关内容
存储选型最佳实践
本节主要介绍使用容器服务(VKE)时如何选择存储(对象存储、文件存储、弹性快存储)类型以及选择时的注意事项。 存储说明不同的业务类型,需要选择不同的存储类型以匹配业务需要,以下内容将对火山引擎提供的存储类型的差异、主要使用场景进行说明。 存储类型 说明 优势 弹性块存储 弹性块存储 EBS(Elastic Block Storage)又称为云盘,是火山引擎提供的高可用、高可靠、高性能、弹性扩展的块存储设备,可以作为云服务器和弹性容器服务的...
云服务器部署Ceph
“产品与服务 > 云服务器”,进入 云服务器控制台 。 在左侧导航栏选择“实例”,地域选择为 华北2(北京),并单击“创建实例”。 在创建实例页面中,配置相关参数,具体如下表。 配置项 说明 计费方式 按量计费 地域及可用区 华北2(北京) 可用区A 实例 规格:通用型 实例规格ecs.g1.xlarge(vCPU: 4 /内存:16GiB) 镜像 公共镜像 CentOS 7.6此处对操作系统类型无强制要求,可选用任何的 Linux 操作系统。本文以 CentOS 7.6为例 存储 ...
云盘持久化存储最佳实践
StatefulSet 对应 Pod 的存储需要通过 StorageClass 来动态创建。每个 Pod 都会根据 StatefulSet 中定义的 VolumeClaimTemplate 来创建一个对应的 PVC,然后 PVC 通过 StorageClass 自动创建对应的 PV,并挂载给 Pod。因此,需要首先创建 StorageClass,即采用动态创建模式。 云盘类型云盘又称弹性块存储,根据用途可分为系统盘和数据盘。 系统盘:用于存储操作系统,只能随实例创建,生命周期与挂载的云服务器实例相同。 数据盘:用于存...
通过访问日志定位异常后端服务器
可快速定位异常的后端服务器。 前提条件已完成七层负载均衡clb-test的配置,详细操作可参见配置七层负载均衡。 已开启对象存储服务(存储桶名称为bucket-test),详细操作可参见开始使用对象存储。 已完成负载均衡服务关联角色ServiceRoleForClbLogDelivery的授权。 操作步骤步骤一:配置访问日志登录负载均衡控制台。 在顶部导航栏,选择目标资源所属的项目和地域。 单击目标负载均衡实例名称"clb-test",进入实例详情页面。 在“概览”...
ECS云服务器搭建Windows系统AD域
本文以Windows Server 2012 R2 数据中心版64位操作系统为例,介绍如何搭建AD域。 关于AD活动目录AD(Active Directory)是面向Windows服务器的目录服务,存储了目录数据并且让管理员和网络用户能够轻松地查找和使用这些信息,进而实现高效安全的集中管理。有关AD的更多信息,请参见Active Directory 域服务概述。 前提条件创建两台ECS实例,分别作为域控制器(DC)和客户端(Client)。创建的实例需为NTFS分区,且支持DNS服务和TCP/IP协议。 ...
集群同时存在多种规格的云服务器节点时,如何使用云盘存储卷?
问题描述当前容器服务的 Worker 节点全量适配和支持使用新规格的云服务器机型。详细说明,请参见 产品公告。 现阶段,可能存在一个集群同时具有多种规格云服务器(ECS)节点的情况。不同规格云服务器与云盘类型的适配关系如下: 仅支持挂载使用 性能型SSD(PTSSD) 类型云盘的云服务器规格:通用型 g1、计算型 c1、内存型 r1、大数据存储型 d1s、GPU 计算型 g1t、高性能计算 GPU 型 hpcg1v。注意 通用型 g1、计算型 c1、内存型 r1 规格族...
焱融文件存储系统部署及性能验证
作为存储性能测试的读写客户端。该3台高性能ECS测试机为可选部署。在实际的业务部署中,业务系统可以直接在同一VPC中访问焱融的文件系统服务。 部署示意图如下图所示。 前提条件注册火山引擎账号,并完成企业实名认证。您可以登录火山引擎控制台查看是否已经完成实名认证。 已创建1个VPC实例,详细步骤参见创建私有网络。 已创建4台本地SSD型ECS实例和3台高性能ECS实例,创建步骤参见购买云服务器,各实例的配置数据参见数据规划。 数...
访问文件存储实例
并授权大数据文件存储产品访问其他服务的权限。更多信息,请参见跨服务授权。 已购买 ECS 实例并为 ECS 实例安装 Hadoop 客户端。更多信息,请参见购买云服务器。建议您使用的 Hadoop 版本不低于 2.6.0。本文使用的 Hadoop 版本为 Apache Hadoop 2.6.0。说明 目前大数据文件存储服务仅在北京地域开放。创建大数据文件存储服务所在的区域需与 ECS 实例区域保持一致。 视频教程 步骤一:创建文件存储场景实例文件存储实例与对象存储...
NAS 持久化存储最佳实践
NAS 提供了共享存储和持久化存储的服务,满足您需要多个 Pod 共享数据的应用场景。本文以静态创建 PV 的方式介绍如何使用 NAS 实现共享存储和持久化存储。 应用场景NAS 支持同时被多个 Pod 挂载,此时多个 Pod 可能同时修改相同数据,需要应用自行实现数据的同步。 有状态服务 NAS 的使用场景对磁盘 I/O 要求较高的应用。 读写性能相对于对象存储 TOS 高。 可实现跨主机文件共享,例如可作为文件服务器。 有状态服务 NAS 的使用方式手...
