You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

开源对象存储系统有哪些

基于先进分布式技术,帮助用户灵活高效、稳定可靠的存储并管理海量非结构化数据

社区干货

干货|解析开源OLAP引擎基于共享存储的选主方式

我们可以利用这块高可用存储来模拟单机系统里的共享内存,将不同的计算节点看成是单机系统里的进(线)程,模仿单机系统的方案来实现他们之间的发现、同步。 本文即介绍以上思想是如何在开源云原生数仓 ... 锁被分配在一份所有线程可见的内存中;2.内存支持通过 CAS(Compare And Swap)指令实现小对象的原子写入;3.内存支持确保原子写入的结果,读者看到的写入顺序和写者的写入顺序一样;4.操作系统内核通过 ...

Apache Iceberg 中引入索引提升查询性能

> Apache Iceberg 是一种开源数据 Lakehouse 表格式,提供强大的功能和开放的生态系统,如:Time travel,ACID 事务,partition evolution,schema evolution 等功能。> 本文将讨论火山引擎EMR团队针对 Iceberg 组件的... 将数据 HFDS 或 TOS(火山引擎对象存储产品)上,然后采用 Trino 或者 Spark 去做分析。![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/2ebeae31a9ce4ef0a6a130cd319fee42~tpl...

Apache Iceberg 中引入索引提升查询性能

Apache Iceberg 是一种开源数据 Lakehouse 表格式,提供强大的功能和开放的生态系统,如:Time travel,ACID 事务,partition evolution,schema evolution 等功能。本文将讨论火山引擎EMR团队针对 Iceberg 组件的优化... 将数据 HFDS 或 TOS(火山引擎对象存储产品)上,然后采用 Trino 或者 Spark 去做分析。![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/d47689c10a2c4dc7b753cd92c929e4a2~tplv...

大象在云端起舞:后 Hadoop 时代的字节跳动云原生计算平台

各种不同体型的企业都喜欢选择开源大数据软件来搭建自己的系统,无论是先前十分繁荣的 Hadoop,还是后来涌现出来的 Kafka、Flink 等,都被广泛地使用着。十多年来,这些系统经历了多轮技术洗礼,我们也随之需要根据新的技术潮流不断地进行调整甚至做技术转型。以 Hadoop 三大组件来说,计算引擎 MapReduce 基本被 Spark 取代。在数据上云的时代,对象存储也取代了一部分 HDFS 文件系统。近几年,云原生又火了起来,行业里再次开始了对大...

特惠活动

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

2核4G共享型云服务器

Intel CPU 性能可靠,不限流量,学习测试、小型网站、小程序开发推荐,性价比首选
86.00/1908.00/年
立即购买

视频云ImageX媒资存储50G

分布式存储,可靠性高,全链路图像服务
1.00/6月24.07/6月
立即购买

开源对象存储系统有哪些-优选内容

什么是对象存储 TOS
高可用的分布式云存储服务。您可以通过 RESTful API 接口、SDK 和工具等多种形式使用火山引擎 TOS。通过网络,您可以在任何应用、任何时间、任何地点管理和访问火山引擎 TOS 上的数据。 产品优势规模海量 火山引擎 TOS 通过自研分布式对象存储技术,通过领先的架构与技术支持,目前内部部署对象存储机器万台规模,存储规模超过 EB。传统用户自建对象存储系统,存在扩展性支持的节点规模有限,难以满足 100PB 级的扩展性要求; 桶和对象的...
干货|解析开源OLAP引擎基于共享存储的选主方式
我们可以利用这块高可用存储来模拟单机系统里的共享内存,将不同的计算节点看成是单机系统里的进(线)程,模仿单机系统的方案来实现他们之间的发现、同步。 本文即介绍以上思想是如何在开源云原生数仓 ... 锁被分配在一份所有线程可见的内存中;2.内存支持通过 CAS(Compare And Swap)指令实现小对象的原子写入;3.内存支持确保原子写入的结果,读者看到的写入顺序和写者的写入顺序一样;4.操作系统内核通过 ...
对象存储账单功能优化通知
为了更好地支持根据 Project 分账的功能,火山引擎对象存储产品将于 2023年 6 月 27 日 13:00 优化变更用量的推送出账逻辑。 优化上线时间2023年 6 月 27 日 13:00 账单优化说明账单功能优化点如下: 账单明细优化点如下: 优化前账单明细:扩展字段体现桶信息。 优化后账单明细:扩展字段将不再体现桶信息,账单明细中的用量为所有桶的合计用量,价格等不做调整。 如果您希望获取单独桶及相应的分账用量信息,请提前在费用中心-分账账...
Apache Iceberg 中引入索引提升查询性能
> Apache Iceberg 是一种开源数据 Lakehouse 表格式,提供强大的功能和开放的生态系统,如:Time travel,ACID 事务,partition evolution,schema evolution 等功能。> 本文将讨论火山引擎EMR团队针对 Iceberg 组件的... 将数据 HFDS 或 TOS(火山引擎对象存储产品)上,然后采用 Trino 或者 Spark 去做分析。![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/2ebeae31a9ce4ef0a6a130cd319fee42~tpl...

开源对象存储系统有哪些-相关内容

Apache Iceberg 中引入索引提升查询性能

> Apache Iceberg 是一种开源数据 Lakehouse 表格式,提供强大的功能和开放的生态系统,如:Time travel,ACID 事务,partition evolution,schema evolution 等功能。> 本文将讨论火山引擎EMR团队针对 Iceberg 组件的... 将数据 HFDS 或 TOS(火山引擎对象存储产品)上,然后采用 Trino 或者 Spark 去做分析。![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/2ebeae31a9ce4ef0a6a130cd319fee42~tpl...

对象存储桶域名使用限制变更公告

为了保证业务的安全性和稳定性,火山引擎对象存储产品将于 2024 年 01 月 03 日变更存储桶默认域名使用限制,不允许使用默认域名以预签名或匿名方式直接预览任意类型的文件或下载后缀为 .apk 或 .ipa 类型的文件。 预计变更时间2024 年 01 月 03 日,具体时间请以控制台上线为准。 变更说明2024 年 01 月 03 日之后创建的存储桶,存在以下变动: 如果您使用默认域名以预签名或匿名方式访问文件,TOS 会在 Response Header 中会自动添加...

火山引擎上云迁移指南(二):迁移实施

#### 开源迁移工具:rclone- **工具简介** rclone是一款开源远程数据同步工具。后端支持文件系统以及多种类型的对象存储产品。rclone支持40多种云存储产品,包括对象存储、企业和消费者文件存储、服务以及标准传输协议。- **源端支持场景** - S3对象存储 - NFS - HDFS - Linux本地文件系统 - **迁移流程** ![alt](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_612447ad868510083179eed616ff...

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

2核4G共享型云服务器

Intel CPU 性能可靠,不限流量,学习测试、小型网站、小程序开发推荐,性价比首选
86.00/1908.00/年
立即购买

视频云ImageX媒资存储50G

分布式存储,可靠性高,全链路图像服务
1.00/6月24.07/6月
立即购买

基于火山引擎 EMR 构建企业级数据湖仓

主要介绍了数据湖仓开源趋势、火山引擎 EMR 的架构及特点,以及如何基于火山引擎 EMR 构建企业级数据湖仓。作者:辛现银,火山引擎开源大数据平台 E-MapReduce 技术架构师 数据湖仓开源趋势... 数据不局限于某种存储底层,支持包括从本地、HDFS 到云对象存储等多种底层。* **Table 格式**:本质上是基于存储的、 Table 的数据+元数据定义。具体来说,这种数据格式有三个具体的实现: **Delta Lake** 、 ...

对象存储日志分析功能免费额度变更说明

为了给您提供更加优质的服务,火山引擎对象存储产品的日志分析功能将于 2023 年 8 月 30 日开始限制免费使用额度,超出额度后,将由日志服务单独收费。 计费开始时间2023 年 8 月 30 日 计费说明TOS 与日志服务深度结合,免费提供最近 7 天内的 TOS 实时日志查询。TOS 将于 2023 年 8 月 30 日开始限制免费使用额度,免费额度如下: 每日日志写入流量:900GiB 每日日志索引流量:900GiB 免费天数内超出免费额度的部分或者使用超出免费天...

对象存储事件通知功能接口变更说明

为了给您提供更加优质的服务,火山引擎对象存储产品预计将于 2024 年 01 月 15 日优化事件通知功能,将同一事件仅支持推送至一个目标,优化为支持推送至多个不同的目标。 预计变更时间2024 年 01 月 15 日,具体变更时间请以控制台变更为准。 变更说明TOS 事件通知功能当前仅支持将同一事件推送至一个目标,变更后,支持将同一事件推送至多个不同的目标(通过新增 V2 版本接口实现)。接口变更影响如下: 如果您希望将事件推送至多个目标,...

云原生环境下的日志采集、存储、分析实践

就需要一套统一的日志系统,对日志进行采集、加工、存储、查询、分析、可视化、告警以及消费投递,将日志的生命周期进行闭环。 Kubernetes 下日志采集的开源自建方案 **开源自建... 当日志存储达到一定周期,不再需要实时分析之后,用户可以把日志投递到成本更低的火山引擎对象存储服务中,或者通过 Kafka 协议投递到其他云产品。如果用户有更高阶的分析需求,TLS 也支持把日志消费到实时计算、流式计...

对象存储资源包功能迁移说明

为了给您提供更加优质的服务,火山引擎对象存储产品预计将于 2024 年 05 月 13 日 09:00 ~ 05 月 15 日 00:00 优化资源包功能,将您的存量资源包商品迁移到新的资源包商品。本次资源包功能优化,不影响您已购资源包的正常抵扣。重点告知您,在本次资源包功能优化期间,您将无法新购资源包,无法对已购资源包执行续费、退订操作。如您对本说明有任何问题,请您及时与我们联系。 预计迁移时间05 月 13 日 09:00 ~ 05 月 15 日 00:00 迁移说...

IDC共享云上对象存储服务

本文将介绍如何通过私网连接服务将火山引擎对象存储服务共享给本地IDC。 场景介绍云上VPC或云下IDC通过私网连接服务可以安全地访问云上的对象存储服务(Tinder Object Storage,简称TOS)。本文为您介绍使用私网连接打通TOS服务时不同场景的的配置指导。 若希望通过私网连接区分服务类型和存储对象,请使用接口终端节点泛域名功能。 若希望通过私网连接终端节点控制VPC访问存储桶的范围,请使用网关终端节点。 具体组网场景如下图所...

特惠活动

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

2核4G共享型云服务器

Intel CPU 性能可靠,不限流量,学习测试、小型网站、小程序开发推荐,性价比首选
86.00/1908.00/年
立即购买

视频云ImageX媒资存储50G

分布式存储,可靠性高,全链路图像服务
1.00/6月24.07/6月
立即购买

产品体验

体验中心

云服务器特惠

云服务器
云服务器ECS新人特惠
立即抢购

白皮书

从ClickHouse到ByteHouse
关于金融、工业互联网,都有对应的场景特性、解决策略、实践效果具体呈现,相信一定能解决你的诸多疑惑
立即获取

最新活动

爆款1核2G共享型服务器

首年60元,每月仅需5元,限量秒杀
立即抢购

火山引擎增长体验专区

丰富能力激励企业快速增长
查看详情

数据智能VeDI

易用的高性能大数据产品家族
了解详情

一键开启云上增长新空间

立即咨询