对象存储冷热分层
社区干货
OLAP 在火山 EMR 的最佳实践
冷热分层、按需弹性等能力,这些能力的实现基于火山已有的基础设施,包括对象存储、ECS(Entity-Component-System(实体-组件-系统)云计算服务)等,在此基础上资源整合,形成了开源生态。EMR产品面向的场景主要是4类:- IDC上云:此前用户接触比较多的包括CDH或HDP等产品,火山提供了包括EMR及数据开发、数据集成等比较完备的生态;- 数据湖:不仅是湖存储这种模式,基于火山的对象存储,做了弹性存算分离的架构,同时,也自研了透明加速...
OLAP 在火山引擎 EMR 的最佳实践
冷热分层、按需弹性等能力,这些能力的实现基于火山已有的基础设施,包括对象存储、ECS等,在此基础上资源整合,形成了开源生态。EMR产品面向的场景主要是4类:- IDC上云:此前用户接触比较多的包括CDH或HDP等产品,火山提供了包括EMR及数据开发、数据集成等比较完备的生态;- 数据湖:不仅是湖存储这种模式,基于火山的对象存储,做了弹性存算分离的架构,同时,也自研了透明加速的能力,引入Job Committer逻辑;提供冷热分层,基于表查询...
Apache Iceberg 中引入索引提升查询性能
配合智能化的冷热数据分层存储能力,助力企业在大数据基建领域进一步降本提效。基于火山引擎 EMR 产品,可以构建数据湖仓、近实时数仓、实时数仓等场景。例如,使用 Iceberg 构建数据湖仓,从 ODS 到 DWD 等不同的分层进行建模,将数据 HFDS 或 TOS(火山引擎对象存储产品)上,然后采用 Trino 或者 Spark 去做分析。
特惠活动
对象存储冷热分层-优选内容
对象存储冷热分层-相关内容
智能分层概述
TOS 支持智能分层存储类型,能够根据您访问对象的频率,自动转换对象的访问层级,降低您的存储成本。本文介绍智能分层存储类型的使用场景、注意等信息。 功能介绍当您不确定当前对象的访问频率时,您可以将对象存储为智能分层类型。TOS 会自动监控智能分层对象的访问次数,并根据智能分层规则,将对象转换为低频访问层或归档闪回访问层,有效降低您的存储成本。设置对象的存储类型为智能分层后,建议您开启日志分析功能。日志分析功能记录...
生命周期概述
在存储桶中配置生命周期管理规则后,即可设置定时删除所有文件。 对于上述场景中的对象,您可以定义用于识别这些对象的生命周期管理规则,通过这些规则实现对象的生命周期管理。 生命周期功能说明生命周期管理支持定期转换存储类型、删除对象,具体的功能说明如下。 转换流程不同存储类型之间的转换流程如下所示。对象沉降规则说明如下。 类别 说明 对象 生命对象只支持单向沉降,即从标准存储 > 低频存储 > 智能分层存储 > 归档闪...
成本评估优化
1.3 存储类型火山 EMR 集群支持对象存储 TOS(Tinder Object Storage)作为存储介质。火山引擎对象存储 TOS 是火山提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。TOS 支持标准型、低频型、归档型三种存储类型,您可以根据数据冷热情况对数据分层优化存储成本。 2 存储优化通过存储优化,可以提升作业的性能。这里有一些策略帮助您去优化集群存储。 数据分区 对数据进行分区并且基于分区读取数据时,查询只读取...
约束限制
本文介绍使用对象存储 TOS 一些主要特性时的使用限制。 性能及存储类型限制项 说明 QPS 读写请求:每个地域每个主账号默认 10000 QPS,说明如下:非顺序读写:10000 QPS 顺序读写:2000 QPS 说明 如果您在一个桶内的... 归档闪回存储 单个文件小于 64KiB 时,将按照 64KiB 计算容量;大于或等于 64KiB,按照实际容量计算。 最低存储时间为 90 天。如果存储时间不足 90 天时,文件被更新或删除,会收取剩余天数的费用。 智能分层存储 ...
控制台快速入门
本文主要介绍如何快速上手火山引擎对象存储服务,包括在对象存储控制台创建存储桶、上传文件、下载文件和获取文件 URL 等操作。 前提条件在使用 TOS 之前,请确保您已注册火山引擎账号并完成企业认证,具体步骤,请参见... 开通后针对对象覆盖及删除操作,TOS 将保存对象的历史版本。 桶策略 设置存储桶的桶策略(Bucket Policy),说明如下: 私有:默认值,只有该桶的归属者及有授权的账号对桶中的对象有读写权限,推荐使用。 公共读:任何人...
新功能发布记录
本文介绍了火山引擎对象存储 TOS(Tinder Object Storage) 各特性版本的功能发布和对应的文档动态,新特性将在各个地域(Region)陆续发布,欢迎体验。 2024 年 04 月功能名称 功能描述 发布时间 发布地域 相关文档... 分别展示恢复文件后生成的临时副本文件的有效期和恢复的源文件存储类型。 2024-03-20 全部 事件通知概述 智能分层 增加了开启日志分析的建议,开启后,您可以在日志分析页面导出日志,检索对象名称,了解对象的最...
0007-00000502
问题描述 多 AZ 桶不支持转存归档、冷归档和深度冷归档存储类型的历史版本对象。 问题原因 多 AZ 桶不支持将历史版本对象转存为归档、冷归档和深度冷归档的存储类型。 问题示例 在多 AZ 存储桶设置将历史版本对象沉... 解决方案 在多 AZ 存储桶配置生命周期规则时,配置除了 ARCHIVE、 COLD_ARCHIVE、DEEP_COLD_ARCHIVE 之外的值,具体取值如下: IA:低频访问存储。 INTELLIGENT_TIERING:智能分层存储。 ARCHIVE_FR:归档闪回存储。
冷热分离介绍
表格数据库 HBase 版支持冷热分离,通过不同的存储介质,有效降低存储成本。 背景信息随着业务的迭代和广泛应用,表中的数据量持续上涨,但随着时间流逝,很多数据的访问频率会逐步减少。例如账单、订单等信息,一般只会查询近半年内的数据详情。甚至对于一些监控数据,遇到问题时,通常也是查看近一两天的内的数据,之前大量的历史数据,直接会被闲置。因此,表格数据库 HBase 版根据数据冷热需要提供不同的存储模式,系统会根据设置的冷热分...
0007-00000402
问题描述 多 AZ 桶不支持转存归档存储、冷归档和深度冷归档类型的对象。 问题原因 多 AZ 桶不支持转存归档存储、冷归档和深度冷归档类型的对象。 问题示例 多 AZ 存储桶配置的生命周期规则如下: JSON { "Rules"... 解决方案 为多 AZ 存储桶配置生命周期规则时,StorageClass 配置为除了 COLD_ARCHIVE 和 ARCHIVE 之外的值。具体取值如下: IA:低频访问存储。 INTELLIGENT_TIERING:智能分层存储。 ARCHIVE_FR:归档闪回存储。
