公司内存储服务器
社区干货
9年演进史:字节跳动 10EB 级大数据存储实战
易扩展,容错率高## HDFS 在字节跳动的发展字节跳动已经应用 HDFS 非常长的时间了。经历了 9 年的发展,目前已直接支持了十多种数据平台,间接支持了上百种业务发展。从集群规模和数据量来说,HDFS 平台在公司内部已经成长为总数十万台级别服务器的大平台,支持了 10 EB 级别的数据量。**当前在字节跳动,** **HDFS** **承载的主要业务如下:**- Hive,HBase,日志服务,Kafka 数据存储 - Yarn,Flink 的计算框架平台数据 -...
字节跳动极高可用 KV 存储系统详解
2017 年 Abase 作为字节跳动推荐的核心存储大规模上线。2018-2019 年,随着字节跳动业务快速扩张,Abase 也从支持推荐存储变成了支持全公司基本所有业务线的在线的 KV 存储。这期间 Abase 从单纯地支持一个 KV 接... Abase 在一个集群内支持异地多活,降低跨集群之间的链路传输代价。目前 Abase 在字节跳动已经部署超过 5 万台服务器,QPS 在百亿级别。Abase 支持的业务数超过 5000,基本覆盖了字节的全部产品线,有超过百 P 级别的...
9年演进史:字节跳动 10EB 级大数据存储实战
HDFS 平台在公司内部已经成长为总数十万台级别服务器的大平台,支持了 10 EB 级别的数据量。---------------------------------------------------------------------------------------------------------------------------- **当前在字节跳动,** **HDFS** **承载的主要业务如下:*** Hive,HBase,日志服务,Kafka 数据存储* Yarn,Flink 的计算框架平台数据* Spark,MapReduce 的计算相关数据存储**02**...
火山引擎云存储选型指南 x 自动驾驶场景最佳实践
企业中使用存储产品的往往是开发团队和运维团队,在AI业务中一般还会有算法团队,不同的角色对存储的关注点也是不同的,比如:1. 开发团队:要做一个互联网应用,多媒体数据想放到对象存储中,关注是否有静态网站托管、镜像回源、事件通知功能,是否兼容S3协议,是否提供多语言SDK等。1. 运维团队:要基于云服务器和云盘部署关键业务系统,关注云盘性能、可靠性、快照、是否提供批创接口等。1. 算法团队:使用AI平台进行模型训练,关注...
特惠活动
公司内存储服务器-优选内容
公司内存储服务器-相关内容
NAS 持久化存储最佳实践
读写性能相对于对象存储 TOS 高。 可实现跨主机文件共享,例如可作为文件服务器。 有状态服务 NAS 的使用方式手动创建文件系统,并添加挂载点。 手动创建 PV 及 PVC。 前提条件已注册火山引擎账号并完成实名认证,具... 在弹出的 创建存储卷 页面,完成参数配置。 配置项 说明 创建方式 选择存储卷的创建方式,支持 静态创建,即由管理员创建 PV。 名称 根据系统提示,自定义存储卷的名称。需确保存储卷名称在集群内唯一。 存储卷类型 ...
存储选型最佳实践
存储类型 说明 优势 弹性块存储 弹性块存储 EBS(Elastic Block Storage)又称为云盘,是火山引擎提供的高可用、高可靠、高性能、弹性扩展的块存储设备,可以作为云服务器和弹性容器服务的可扩展硬盘使用。更多信息,... 让您像使用本地存储一样使用云端存储系统。 共享访问:应用级别数据共享,企业级数据管理,实现多终端协同工作以及数据共享。 访问安全:丰富权限以及后端多重数据保护机制,保障数据访问整体安全性。 极致性能:分布式架...
产品架构
产品架构EMR产品架构如下: 基础设施: 基于火山引擎云服务器(ECS)、公网IP(EIP)、弹性块存储(EBS)、对象存储(TOS)、私有网络(VPC)为EMR提供弹性扩展、高可靠、高性能、安全隔离的部署环境。 数据存储: HDFS分布式文件系统支持海量结构化和非结构化数据存储,支持多种高效格式满足不同分析引擎要求,同时对接TOS对象存储,实现高可用低成本数据存储。支持Hudi、Iceberg、Delta Lake等多种数据湖存储格式,助力企业构建数据湖解决方案。...
云服务器部署Ceph
更多内容,请参考 Ceph Documentation。 前提条件在进行本实践前,您需要完成以下准备工作: 注册火山引擎账号,并完成 企业实名认证。您可以登录 火山引擎控制台,在顶部导航栏右侧,单击“账号管理 > 实名认证”,前往 实名认证 页面查看是否已经完成实名认证。 火山引擎账户余额大于 100 元。您可以登录 火山引擎控制台,并前往账户总览页面查看账户余额。 实践规划本最佳实践通过火山引擎云服务器、私有网络、NAT 网关等产品进行...
弹性块存储-火山引擎
火山引擎弹性块存储EBS(Elastic Block Storage)是火山引擎提供的高可用、高可靠、高性能的块存储设备,可以作为云服务器和弹性容器服务的可扩展硬盘使用
乘风破浪的云原生
基于内部庞大、多元的 C 端服务,孵化并创新新一代互联网最佳技术实践。 作为字节跳动旗下的数字服务与智能科技品牌,火山引擎汇集了字节跳动服务数亿用户的大数据、人工智能和基础服务等能力:对内拥有支撑今日头条、抖音、西瓜视频等业务应用的技术能力;对外拥有数十万容器集群规模、数万台服务器规模、EB 级数据稳定存储的企业服务经验。 这个三月,字节跳动火山引擎开发者社区将举办第一期线上 Meetup。我们邀请到了火山引擎的一...
产品概述
CWPP产品简介随着企业业务云化、容器化、云原生化的推进,企业的基础架构与安全需求也在不断的复杂化,并且伴随着新的技术方案的出现,也通常会伴随着新的安全风险,在这样的大背景下,传统的服务器安全产品逐渐变得捉襟见肘: 多云、混合云架构带来的多云场景下服务器安全管理的需求; 容器化带来的新的攻防面,但传统的服务器安全产品通常不支持容器内入侵检测与响应; 云原生带来的k8s自身的攻击面问题也不容小觑,如容器集群内的不安全...
火山引擎云存储选型指南 x 自动驾驶场景最佳实践
企业中使用存储产品的往往是开发团队和运维团队,在AI业务中一般还会有算法团队,不同的角色对存储的关注点也是不同的,比如:1. 开发团队:要做一个互联网应用,多媒体数据想放到对象存储中,关注是否有静态网站托管、镜像回源、事件通知功能,是否兼容S3协议,是否提供多语言SDK等。1. 运维团队:要基于云服务器和云盘部署关键业务系统,关注云盘性能、可靠性、快照、是否提供批创接口等。1. 算法团队:使用AI平台进行模型训练,关注...
访问数据湖实例
数据湖场景(即 ACC 模式)的文件存储实例支持原生 TOS 和部分 HDFS 语义,主要用于数据湖分析场景和机器学习场景。本文为您介绍如何创建、挂载 ACC 模式的文件存储实例,并使用 FUSE 协议访问文件存储实例。 前提条件已完成火山引擎企业实名认证,并授权大数据文件存储访问其他服务的权限。更多信息,请参见跨服务授权。 已购买 Debian 操作系统的 ECS 实例。如何购买,请参见购买云服务器。说明 购买的 ECS 实例所属的网络环境必须和需...
