对象存储服务和快照
社区干货
火山引擎 Iceberg 数据湖的应用与实践
每个快照下层对应的 Manifest List 文件中记录了这个快照的元数据信息,用于描述快照底下拥有的 Manifest File 及再下层的实际数据文件。 **第一个优点是** **Iceberg** **适合对象存储** **。** 作为对比,我... 这就导致 Hive 表在对象存储上的查询开销很大。而 Iceberg 的文件组织形式,从 Metadata File 到 Manifest List,再到 Manifest File,最后到实际的 Data File,通过这种层级关系保存了一个从 Iceberg 表到底层所有数...
基于火山引擎 EMR 构建企业级数据湖仓
开放存储:数据不局限于某种存储底层,支持包括从本地、HDFS 到云对象存储等多种底层。 - Table 格式:本质上是基于存储的、 Table 的数据+元数据定义。具体来说,这种数据格式有三个具体的实现:Delta Lake、Iceberg 和 Hudi。三种格式提出的出发点略有不同,但是它们的场景需求里都不约而同地包含了事务支持和流式支持。而它们在具体的实现中也采用了比较相似的做法,即在数据湖的存储之上定义一个元数据,并跟数据一样保存在...
火山引擎上云迁移指南(二):迁移实施
用于管理云存储上的文件。它是云供应商Web存储界面的功能丰富的替代方案。超过40种云存储产品支持rclone,包括S3对象存储,业务和消费者文件存储服务以及标准传输协议。- **文件迁移工具对比** | | 并发迁移 | 跨主机迁移 | 增量迁移 | 文件权限迁移 | 文件迁移过滤 | 源端删除文件是否同步 | 断点续传 | | --- | --- | --- | --- | --- | --- | --- | --- | | rsync | 不支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 ...
火山引擎云存储选型指南 x 自动驾驶场景最佳实践
企业中使用存储产品的往往是开发团队和运维团队,在AI业务中一般还会有算法团队,不同的角色对存储的关注点也是不同的,比如:1. 开发团队:要做一个互联网应用,多媒体数据想放到对象存储中,关注是否有静态网站托管、镜像回源、事件通知功能,是否兼容S3协议,是否提供多语言SDK等。1. 运维团队:要基于云服务器和云盘部署关键业务系统,关注云盘性能、可靠性、快照、是否提供批创接口等。1. 算法团队:使用AI平台进行模型训练,关注...
特惠活动
对象存储服务和快照-优选内容
对象存储服务和快照-相关内容
手动创建快照
如果磁盘读写带宽已经接近饱和状态,建议先停止数据备份操作,以避免对读写性能产生影响。如何查看节点磁盘读写带宽,参见查看监控信息。 创建手动备份登录云搜索服务控制台。 在顶部导航栏,选择目标实例所在的地域。 在实例列表 v2页面,单击目标实例名称,进入实例详情页。 在实例详情页单击备份管理页签,然后单击右上角的手动备份。 在手动备份对话框,设置快照名称、备份对象、目标存储桶、备注信息,然后单击确定。 配置 说明...
通过私有DNS访问对象存储
本文将介绍如何通过私网连接的私有DNS访问火山引擎对象存储服务。 说明 私有DNS功能正在邀测中,如需使用,请联系客户经理。 场景介绍通过私网连接访问对象存储服务(TOS)默认使用HTTP协议,如果您希望通过私网连接可以使用HTTPS协议访问TOS服务,则需要使用私网连接私有DNS功能。本文以下图所示的访问场景为例,为您介绍如何配置私网连接私有DNS功能。 前提条件已创建私有网络VPC及其云服务器,具体操作请参见创建私有网络和购买云服务...
使用对象存储静态存储卷
本文介绍如何创建对象存储类型存储卷和存储卷声明,以及工作负载如何使用对象存储静态存储卷。 前提条件已创建容器服务集群,操作方法参见 创建集群。 确保当前集群已安装对象存储服务组件 csi-tos。操作方法,请参见... 单击存储卷列表左上角 创建存储卷。 在弹出的 创建存储卷 页面,完成参数配置。 配置项 说明 创建方式 选择存储卷的创建方式,目前支持静态创建。 名称 根据系统提示,自定义存储卷的名称,需确保存储卷名称在集群内...
使用存储迁移服务将友商对象存储迁移至TOS
对象存储服务的数据在线迁移至火山引擎对象存储 TOS(Tinder Object Storage)或在火山引擎对象存储的存储桶之间做数据迁移时,您可以使用存储迁移服务进行迁移。 关于实验 预计部署时间:30分钟 级别:初级 相关产品:TOS 受众: 通用 实验说明 点击此链接登录控制台。 如果您还没有账户,请点击此链接注册账户。 实验步骤 总体步骤如下: 准备友商对象存储环境 准备火山引擎目的存储桶,配置存储迁移服务进行迁移并观察结果 注意 存储迁...
支持通过PrivateLink访问对象存储TOS服务&设置访问策略
私网连接(PrivateLink)通过终端节点和终端节点服务建立私密的网络连接,实现不同VPC对服务资源的私网访问,避免了公网访问潜在的安全风险,为您提供更加安全的组网方式。 当前仅支持创建接口类型终端节点服务,此功能发布后,用户可以创建网关终端节点并设置访问策略,控制允许/拒绝特定VPC的流量访问特定存储桶。 网关终端节点特性如下: 私网访问对象存储TOS服务路径 网关终端节点(Gateway Endpoint) 服务名称 com.volces.privatelink...
火山引擎 Iceberg 数据湖的应用与实践
每个快照下层对应的 Manifest List 文件中记录了这个快照的元数据信息,用于描述快照底下拥有的 Manifest File 及再下层的实际数据文件。 **第一个优点是** **Iceberg** **适合对象存储** **。** 作为对比,我... 这就导致 Hive 表在对象存储上的查询开销很大。而 Iceberg 的文件组织形式,从 Metadata File 到 Manifest List,再到 Manifest File,最后到实际的 Data File,通过这种层级关系保存了一个从 Iceberg 表到底层所有数...
存储选型最佳实践
本节主要介绍使用容器服务(VKE)时如何选择存储(对象存储、文件存储、弹性快存储)类型以及选择时的注意事项。 存储说明不同的业务类型,需要选择不同的存储类型以匹配业务需要,以下内容将对火山引擎提供的存储类型的差异、主要使用场景进行说明。 存储类型 说明 优势 弹性块存储 弹性块存储 EBS(Elastic Block Storage)又称为云盘,是火山引擎提供的高可用、高可靠、高性能、弹性扩展的块存储设备,可以作为云服务器和弹性容器服务的...
快照概述
(快照)恢复机制,但这种机制需要和 Kubernetes 服务集成并在应用中灵活使用,才能更好地实现数据的备份和恢复。 基于上述背景,容器服务 VKE 通过 Kubernetes 中的 Custom Resource Definition(CRD)资源,定义了如下三个资源类型。 资源类型名称 描述 VolumeSnapshotClass 定义一个快照类,描述创建快照使用的参数(Parameter)、控制器(Controller)。类似 Kubernetes 中的 StorageClass 概念。 VolumeSnapshotContent 存储后端的快照实...
使用 Terraform 管理对象存储
本文介绍使用 Terraform 进行对象存储管理。 前言 本文主要介绍使用 Terraform 管理对象存储的方法。 关于实验 预计部署时间:30分钟 级别:初级 相关产品:TOS 受众: 通用 实验说明 点击此链接登录控制台。 如果您还没有账户,请点击此链接注册账户。 实验步骤 安装和初始化Terraform参考如下步骤安装 Terraform 登录Terraform官网或进入下载页,建议使用0.13.x或者更高的版本,下载对应操作系统的安装包。 解压安装包,并将terrafo...
