分布式统一对象存储
社区干货
JuiceFS 在火山引擎边缘计算的应用实践
这里简单介绍一下在边缘渲染中遇到的存储问题:需要对象存储与文件系统的元数据统一,实现数据通过对象存储接口上传以后,可以通过 POSIX 接口直接进行操作;满足高吞吐量的场景需求,尤其是在读的时候;完全实现 S3 接口... 整个公司的存储组件都打包在一起,包括:对象存储、块存储、分布式存储、文件存储等,而边缘侧主要需要文件存储和对象存储,需要进行裁剪和改造,上线稳定也需要一个过程。团队讨论后,形成了一个可行的方案:CephFS + ...
JuiceFS 在火山引擎边缘计算的应用实践
边缘场景存储挑战 这里简单介绍一下在边缘渲染中遇到的存储问题:* 需要对象存储与文件系统的元数据统一,实现数据通过对象存储接口上传以后,可以通过 POSIX 接口直接进行操作;* 满足高吞吐... 整个公司的存储组件都打包在一起,包括:对象存储、块存储、分布式存储、文件存储等,而边缘侧主要需要文件存储和对象存储,需要进行裁剪和改造,上线稳定也需要一个过程。团队讨论后,形成了一个可行的方案: **Cep...
火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0(上)
存储服务化**对数据存储层进行统一抽象,灵活采用 HDFS 分布式存储或 S3 等对象存储作为数据存储载体,最终实现存储服务化,便于解决存储扩展性、读写吞吐瓶颈问题、数据一致性问题,同时能大幅降低存储成本。此外,实现存储服务化后,对于产品的跨云兼容和多云部署带来方便。**3)计算资源池化**由于 OLAP 应用负载的波动特点,特别在支持多租户的场景下,通过计算资源池化,根据实时负载进行计算资源统一调度管理,实现资源隔离的...
9年演进史:字节跳动 10EB 级大数据存储实战
分布式存储系统,HDFS 一直伴随着字节跳动关键业务的飞速扩张而快速发展。本文从 HDFS 发展历程入手,介绍发展路径上的重大挑战及解决方案。 **01****背景****HDFS 简介**HDFS 全名 Hadoop Distributed File System,是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项:* 和本地文件系统一样...
特惠活动
分布式统一对象存储-优选内容
分布式统一对象存储-相关内容
CloudFS优势
高可靠和高可用的分布式文件系统。 相比自建 HDFS 存储,使用火山引擎大数据文件存储服务 CloudFS 可以节约维护成本,降低数据安全风险。 易使用CloudFS 兼容了标准的 HDFS 协议接口,您无需对现有大数据分析应用做任何修改,即可通过火山引擎 ECS 或容器使用文件存储系统。此外,CloudFS 也和 Serverless Spark、Serverless Flink 等数据生态无缝打通,您可以轻松地接入其他数据产品。 海量存储CloudFS 依托对象存储的超大容量和成本优...
JuiceFS 在火山引擎边缘计算的应用实践
边缘场景存储挑战 这里简单介绍一下在边缘渲染中遇到的存储问题:* 需要对象存储与文件系统的元数据统一,实现数据通过对象存储接口上传以后,可以通过 POSIX 接口直接进行操作;* 满足高吞吐... 整个公司的存储组件都打包在一起,包括:对象存储、块存储、分布式存储、文件存储等,而边缘侧主要需要文件存储和对象存储,需要进行裁剪和改造,上线稳定也需要一个过程。团队讨论后,形成了一个可行的方案: **Cep...
搭建Ceph
Ceph是一种开源分布式文件系统,具有高可靠、自动重均衡、灵活扩展等特点,支持对象存储、块存储以及文件存储。本文为您介绍如何搭建Ceph。 Ceph充分利用节点的计算能力,通过Crush算法计算文件位置,使数据均衡分布,避... 在设置密钥保存位置时回车即可。 ssh-keygen -t rsa -P ''ssh-copy-id ceph-node1ssh-copy-id ceph-node2ssh-copy-id ceph-node3ssh-copy-id ceph-client 安装 Ansible。 执行以下命令,安装 Ansible。 yum instal...
分布式存储
本文介绍分布式存储客户端的故障配置参数。 ES 故障Index 关闭说明 当前故障仅支持 Elasticsearch 8.0 及以上 版本。 可注入目标: 集群中的中间件 主机中的中间件 故障参数: 参数 是否必填 说明 故障名称 是 故障的名称。 Host 是 数据库客户端的 IP。 端口 是 数据库客户端的端口号。 是否开启 SSL 是 选择是开启 SSL 验证。 是否需要用户名密码 是 选择是否需要输入账户和密码登录。选择是,则需要配置对应的用户名和密码。 用...
普通上传(C++ SDK)
普通上传是指通过 putObject 方法上传单个对象(Object),支持上传字符串(字符流)和上传本地文件。流式上传是指使用文件流等流式数据或字符串作为 TOS 的数据源,其统一抽象为 iostream 进行上传。文件上传是指使用本... 注意事项上传对象前,您必须具有 tos:PutObject 权限,具体操作,请参见权限配置指南。 上传对象时,对象名必须满足一定规范,详细信息,请参见对象命名规范。 TOS 是面向海量存储设计的分布式对象存储产品,内部分区存储...
火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0(上)
存储服务化**对数据存储层进行统一抽象,灵活采用 HDFS 分布式存储或 S3 等对象存储作为数据存储载体,最终实现存储服务化,便于解决存储扩展性、读写吞吐瓶颈问题、数据一致性问题,同时能大幅降低存储成本。此外,实现存储服务化后,对于产品的跨云兼容和多云部署带来方便。**3)计算资源池化**由于 OLAP 应用负载的波动特点,特别在支持多租户的场景下,通过计算资源池化,根据实时负载进行计算资源统一调度管理,实现资源隔离的...
9年演进史:字节跳动 10EB 级大数据存储实战
分布式存储系统,HDFS 一直伴随着字节跳动关键业务的飞速扩张而快速发展。本文从 HDFS 发展历程入手,介绍发展路径上的重大挑战及解决方案。 **01****背景****HDFS 简介**HDFS 全名 Hadoop Distributed File System,是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项:* 和本地文件系统一样...
对象存储带宽流控优化说明
为了更好地提升服务体验,火山引擎对象存储产品将优化读写带宽触发流控后的表现。 优化生效时间2023 年 7 月 30 日 23:59 优化说明对象存储产品存在读写带宽限制,达到阈值后将触发流控,流控行为如下所示: 优化前:触发流控后会直接响应 429 错误,拒绝请求。 优化后:触发流控后会整体降速,不会拒绝请求。 TOS 的带宽限制说明,请参见约束限制。
对象存储服务等级协议变更公告
为了给您提供更优质的服务并合法保障您的权益,对象存储将于 2023 年 7 月 10 日变更服务等级协议。 生效日期2023 年 7 月 15 日 变更说明服务等级变更点如下所示: 术语和定义:优化了有效请求和失败请求的场景说明。 服务可用性:明确了存储类型的冗余条件。 赔偿方案:明确了存储类型的冗余条件。 服务等级协议地址最新的服务等级协议地址,请参见对象存储服务等级协议(SLA)。
