动态申请对象存储单元
社区干货
后 Hadoop 时代,字节跳动如何打造云原生计算平台
对象存储也取代了一部分 HDFS 文件系统。近几年,云原生又火了起来,行业里再次开始了对大数据体系的云原生改造,同时 Kubernetes(K8s) 的流行,也让同为资源管理的 YARN 地位越来越尴尬。然而,过去的技术体系在很多... 这时候用户只能去申请三个核。如果一个 Flink job 可能是 1000 个容器构成的,就浪费近千个核, **规模越大,浪费越严重** 。通过在运行时动态调节 Flink 任务的使用资源的方法,字节跳动可以在用户无感的情况下,将资...
2022技术盘点之平台云原生架构演进之道|社区征文
对象存储/CFS,数据库有MongoDB分片集群/MySQL/Redis/ElasticSearch/RabbitMQ进行各类业务数据计算和存储## 三 流量管控
特惠活动
动态申请对象存储单元-优选内容
动态申请对象存储单元-相关内容
IDC共享云上对象存储服务
本文将介绍如何通过私网连接服务将火山引擎对象存储服务共享给本地IDC。 场景介绍云上VPC或云下IDC通过私网连接服务可以安全地访问云上的对象存储服务(Tinder Object Storage,简称TOS)。本文为您介绍使用私网连接打... 调用API或SDK访问对象存储。例如,通过私网连接查看某存储桶中的所有对象,请求参数传入说明如下: 接口终端节点API访问时,Host传入终端节点域名。以调用API列举对象为例,请求示例如下所示。GET / HTTP/1.1 Host: ...
新功能发布记录
本文介绍了火山引擎对象存储 TOS(Tinder Object Storage) 各特性版本的功能发布和对应的文档动态,新特性将在各个地域(Region)陆续发布,欢迎体验。 2024 年 04 月功能名称 功能描述 发布时间 发布地域 相关文档... 2024-02-29 全部 设置桶或对象的预定义访问策略(set-acl) 支持多个网络诊断命令。 2024-02-29 全部 测量网络延迟(ping) 计算网络连接耗时(connect) 抓取网络(traceroute) 发送 HTTP 请求(curl) TOS Impor...
对象存储资源包功能迁移说明
为了给您提供更加优质的服务,火山引擎对象存储产品预计将于 2024 年 05 月 13 日 09:00 ~ 05 月 15 日 00:00 优化资源包功能,将您的存量资源包商品迁移到新的资源包商品。本次资源包功能优化,不影响您已购资源包的... 注意 TOS 资源包最小购买单元为月(非自然月),因此迁移方案会将您已购资源包剩余时间向上取整。例如,在 TOS 资源包商品迁移开始时,您生效中资源包剩余可用时长为 2 个月零 1 天,TOS 将自动为您新下单 3 个月的相同...
对象存储账单功能优化通知
为了更好地支持根据 Project 分账的功能,火山引擎对象存储产品将于 2023年 6 月 27 日 13:00 优化变更用量的推送出账逻辑。 优化上线时间2023年 6 月 27 日 13:00 账单优化说明账单功能优化点如下: 账单明细优化点如下: 优化前账单明细:扩展字段体现桶信息。 优化后账单明细:扩展字段将不再体现桶信息,账单明细中的用量为所有桶的合计用量,价格等不做调整。 如果您希望获取单独桶及相应的分账用量信息,请提前在费用中心-分账账...
使用 Terraform 管理对象存储
本文介绍使用 Terraform 进行对象存储管理。 前言 本文主要介绍使用 Terraform 管理对象存储的方法。 关于实验 预计部署时间:30分钟 级别:初级 相关产品:TOS 受众: 通用 实验说明 点击此链接登录控制台。 如果您还没有账户,请点击此链接注册账户。 实验步骤 安装和初始化Terraform参考如下步骤安装 Terraform 登录Terraform官网或进入下载页,建议使用0.13.x或者更高的版本,下载对应操作系统的安装包。 解压安装包,并将terrafo...
后 Hadoop 时代,字节跳动如何打造云原生计算平台
对象存储也取代了一部分 HDFS 文件系统。近几年,云原生又火了起来,行业里再次开始了对大数据体系的云原生改造,同时 Kubernetes(K8s) 的流行,也让同为资源管理的 YARN 地位越来越尴尬。然而,过去的技术体系在很多... 这时候用户只能去申请三个核。如果一个 Flink job 可能是 1000 个容器构成的,就浪费近千个核, **规模越大,浪费越严重** 。通过在运行时动态调节 Flink 任务的使用资源的方法,字节跳动可以在用户无感的情况下,将资...
实现 vePFS 与对象存储 TOS 之间数据流动
本文介绍如何实现文件存储 vePFS 与对象存储 TOS 之间的数据流动。 适用场景加载数据集场景(TOS->vePFS):数据集从 TOS 流动到 vePFS,用于数据清洗和 GPU 训练。 训练数据归档场景(vePFS->TOS):GPU 训练的 CheckPoint 数据和训练结果归档到的至对象存储。 前提条件ECS 和 TOS 带宽均满足数据流动需求。 不同规格的 ECS 实例的网络带宽不同,建议您选择网络出入带宽 20Gbps 以上的 ECS 实例。ECS 规格详情,请参见 ECS 规格说明。 ...
2022技术盘点之平台云原生架构演进之道|社区征文
对象存储/CFS,数据库有MongoDB分片集群/MySQL/Redis/ElasticSearch/RabbitMQ进行各类业务数据计算和存储## 三 流量管控,计费变更说明如下: 计费时间 计费说明 2023 年 10 月 31 日前 按照对象的实际...
