对象存储增量备份
社区干货
跨云迁移神器——火山引擎存储迁移服务正式上线
将其他云服务商或自建对象存储中的数据,方便快捷地迁移到**火山引擎对象存储 TOS**中。火山引擎存储迁移服务具有以下功能:* **多种数据源**:支持国内外主流云厂商对象存储及其他兼容S3协议的对象存储;* **免输密钥**:当源端/目的端为火山引擎 TOS 时,无需输入密钥,不存在密钥泄露风险;* **自定义限速**:可自定义不同时段的传输带宽速度,以减小对源站的业务影响;* **增量迁移**:支持自定义增量迁移间隔和增量迁...
跨云迁移利器-存储迁移服务正式上线
为此火山引擎云存储团队推出了存储迁移服务,能够将其他云服务商或自建对象存储中的数据方便快捷地迁移到火山引擎对象存储TOS中。火山引擎存储迁移服务具有以下功能:- **多种数据源**:支持国内外主流云厂商对象存储及其他兼容S3协议的对象存储- **免输密钥**:当源端/目的端为火山引擎TOS时,无需输入密钥,不存在密钥泄露风险- **自定义限速**:可自定义不同时段的传输带宽速度,以减小对源站的业务影响- **增量迁移**...
火山引擎 Iceberg 数据湖的应用与实践
Iceberg 是一种适用于 HDFS 或者对象存储的表格式,把底层的 Parquet、ORC 等数据文件组织成一张表,向上层的 Spark,Flink 计算引擎提供表层面的语义,作用类似于 Hive Meta Store,但是和 Hive Meta Store 相比:- Iceberg 能避免 File Listing 的开销;- 也能够提供更丰富的语义,包括 Schema 演进、快照、行级更新、 ACID 增量读等。 
特惠活动
对象存储增量备份-优选内容
对象存储增量备份-相关内容
ModifyDBInstanceBackupURL
调用 ModifyDBInstanceBackupURL 接口获取指定备份文件。 请求类型异步请求。 注意事项说明 针对通过物理备份方式生成的数据备份,由于这些备份文件在对象存储 TOS 中以分片形式存储。您通过 ModifyDBInstanceBackupURL 接口获取备份文件后,需要再调用 DescribeDBInstanceBackupURL 接口来查看备份文件的下载地址才可下载指定备份文件。 请求参数参数 类型 是否必选 示例值 描述 InstanceId String 是 mongo-shard-f9e5d782**...
创建 TOS 备份恢复任务
本文介绍创建 TOS 备份恢复任务的操作步骤。 背景信息云数据库 SQL Server 版支持便捷的数据库上云操作。只需将自建数据库的备份文件上传至对象存储服务(Tinder Object Storage,简称 TOS),即可通过云数据库 SQL Se... 选择备份 必填。选择待恢复的备份文件。 说明 仅支持前缀搜索。如果备份文件存放于桶内的某一级文件夹中,则需要逐级输入该文件的路径。最多显示 20 条匹配结果。 当前仅支持备份 .bak、.diff、.trn、.log 格式...
CreateTosRestore
调用 CreateTosRestore 接口将对象存储 TOS 上的备份文件恢复到云数据库 SQL Server 版实例,实现数据上云。 请求类型异步请求。 请求参数名称 类型 是否必选 示例值 描述 TargetDBInstanceId String 是 mssql-d59138f3**** 实例 ID。 说明 您可以调用 DescribeDBInstances 接口查询实例 ID。 TosObjectPositions String 是 tos-cn-beijing.volces.com:backname:slow_query.log TOS 的对象地址。格式为 : : ,用英文冒号...
实现 vePFS 与对象存储 TOS 之间数据流动
本文介绍如何实现文件存储 vePFS 与对象存储 TOS 之间的数据流动。 适用场景加载数据集场景(TOS->vePFS):数据集从 TOS 流动到 vePFS,用于数据清洗和 GPU 训练。 训练数据归档场景(vePFS->TOS):GPU 训练的 CheckPo... 对象存储 Bucket 名称。 sourcedir 需要拷贝数据的目录名称。 -r 表示执行批量操作。 -j 批量任务的最大并发数,可以根据业务需求调整。 -p 每个分片任务的最大并发数,可以根据业务需求调整。 -u 增量下载对象存储中...
手动创建数据备份
若排查之后仍出现无法进行备份操作的问题,您可以提交工单联系技术支持。 备份失败原因有哪些?以下情况可能导致备份失败,您可以在备份列表的备份状态列,查看备份失败的具体原因。 执行备份失败 备份任务被取消 上传备份文件失败 下载备份文件失败 对象存储配置错误 连接或查询数据库失败 备份任务持有备份锁时间过长 当前已经有正在执行的备份任务 执行增量备份时,没有已经完成的全量备份 备份类型是否支持逻辑备份?逻辑...
查看 TOS 备份恢复任务
本文介绍查看 TOS 备份恢复任务的操作步骤。 背景信息云数据库 SQL Server 版支持便捷的数据库上云操作。只需将自建数据库的备份文件上传至对象存储服务(Tinder Object Storage,简称 TOS),即可通过云数据库 SQL Server 版提供的 TOS 备份恢复功能将备份恢复到指定数据库。TOS 备份恢复功能支持全量恢复、差异恢复和日志恢复多种恢复方式,满足更多业务场景。TOS 备份恢复功能采用了微软官方的备份恢复方案,严格保障稳定性和兼容性...
上传数据至 TOS
对象存储 TOS(Tinder Object Storage)是火山引擎提供的分布式云存储服务。对于机器学习项目而言,用户可以将用于训练 / 推理的海量数据上传至 TOS。本文主要介绍如何使用 CLI 和 Python SDK 进行 TOS 的数据管理。 TOS 数据一般有 4 种上传方式: (推荐)通过 Rclone 等命令行工具完成大规模数据的上传,具体参考使用 Rclone 访问 TOS。 TOS 控制台的 Web 页面进行小批量数据的上传、下载、备份策略等基本维护。 基于TOS的openAPI和S...
存储选型最佳实践
本节主要介绍使用容器服务(VKE)时如何选择存储(对象存储、文件存储、弹性快存储)类型以及选择时的注意事项。 存储说明不同的业务类型,需要选择不同的存储类型以匹配业务需要,以下内容将对火山引擎提供的存储类型的... 备份/归档、大数据/IoT 等场景。 .volc-viewer-table { word-break: break-word;}.d table th:first-of-type { width: 10%;}.d table th:nth-of-type(2) { width: 20%;}.d table th:nth-of-type(3) { w...
跨云迁移神器——火山引擎存储迁移服务正式上线
将其他云服务商或自建对象存储中的数据,方便快捷地迁移到**火山引擎对象存储 TOS**中。火山引擎存储迁移服务具有以下功能:* **多种数据源**:支持国内外主流云厂商对象存储及其他兼容S3协议的对象存储;* **免输密钥**:当源端/目的端为火山引擎 TOS 时,无需输入密钥,不存在密钥泄露风险;* **自定义限速**:可自定义不同时段的传输带宽速度,以减小对源站的业务影响;* **增量迁移**:支持自定义增量迁移间隔和增量迁...
