对象存储元数据双录
社区干货
计算引擎在K8S上的实践|社区征文
因此数据平台也面临着从Hadoop到云原生的探索。我们做了一些尝试:首先是存储,使用OSS等对象存储替代了HDFS。其次就是计算,也是本篇文章将要介绍的,将Spark计算任务从Yarn迁移至K8S上运行。# 最初的尝试spark-thr... 因为我们使用了hive的元数据信息,所有镜像中打入了mysql的jar包。```yamlapiVersion: apps/v1kind: Deploymentmetadata: name: spark-thrift-server-test namespace: default labels: app.kubernete...
对象存储 Android SDK 是否支持访问CDN地址来下载对应bucket的资源
对象存储 Android SDK 是否支持访问CDN地址来下载对应bucket的资源呢?还有就是是否支持通过https协议来访问CDN地址呢
火山引擎DataLeap的Data Catalog系统搜索实践 (上)
对象存储,分布式文件系统如LasFS等。带来的主要挑战是不同类型的资产,搜索的字段和权重有明显差异。- **支持个性化**。目前系统的用户遍布整个公司,角色涵盖数据工程师,数据分析师,产品经理,项目经理,销售和数据科学家等等,需要完成的数据工作任务差异也比较大,比如数据开发,数据治理,BI,数据分析和机器学习等等,因此个性化对Data Catalog的搜索尤为重要。- **支持各种业务** **元数据** **的高级筛选**。数据资产除了名称...
火山引擎DataLeap的Catalog系统搜索实践(一):背景与功能需求
火山引擎DataLeap的Data Catalog系统通过汇总和组织各种元数据,解决了数据生产者梳理数据、数据消费者找数和理解数的业务场景,其中搜索是Data Catalog的主要功能之一。本文详细介绍了火山引擎DataLeap的Catalog系统... 目前系统中已经包含15+种数据源,可以分为几大类:数仓表比如Hive,看板,数据集,实时表,Topic,对象存储,分布式文件系统如LasFS等。带来的主要挑战是不同类型的资产,搜索的字段和权重有明显差异。- **支持个性化**。...
特惠活动
对象存储元数据双录-优选内容
对象存储元数据双录-相关内容
对象存储事件通知功能接口变更说明
为了给您提供更加优质的服务,火山引擎对象存储产品预计将于 2024 年 01 月 15 日优化事件通知功能,将同一事件仅支持推送至一个目标,优化为支持推送至多个不同的目标。 预计变更时间2024 年 01 月 15 日,具体变更时间请以控制台变更为准。 变更说明TOS 事件通知功能当前仅支持将同一事件推送至一个目标,变更后,支持将同一事件推送至多个不同的目标(通过新增 V2 版本接口实现)。接口变更影响如下: 如果您希望将事件推送至多个目标,...
实现 vePFS 与对象存储 TOS 之间数据流动
本文介绍如何实现文件存储 vePFS 与对象存储 TOS 之间的数据流动。 适用场景加载数据集场景(TOS->vePFS):数据集从 TOS 流动到 vePFS,用于数据清洗和 GPU 训练。 训练数据归档场景(vePFS->TOS):GPU 训练的 CheckPoint 数据和训练结果归档到的至对象存储。 前提条件ECS 和 TOS 带宽均满足数据流动需求。 不同规格的 ECS 实例的网络带宽不同,建议您选择网络出入带宽 20Gbps 以上的 ECS 实例。ECS 规格详情,请参见 ECS 规格说明。 ...
对象存储带宽流控优化说明
为了更好地提升服务体验,火山引擎对象存储产品将优化读写带宽触发流控后的表现。 优化生效时间2023 年 7 月 30 日 23:59 优化说明对象存储产品存在读写带宽限制,达到阈值后将触发流控,流控行为如下所示: 优化前:触发流控后会直接响应 429 错误,拒绝请求。 优化后:触发流控后会整体降速,不会拒绝请求。 TOS 的带宽限制说明,请参见约束限制。
设置对象元数据(setmeta)
您可以通过 setmeta 命令设置对象元数据。 命令格式Linux/macOS设置单个对象元数据 Bash ./tosutil setmeta tos://bucket/key [-versionId=xxx] [-meta=aaa:bbbccc:ddd] [-contentType=xxx] [-contentDisposition=xxx] [-contentEncoding=xxx] [-contentLanguage=xxx] [-cacheControl=xxx] [-expires=xxx] [-fr] [-o=xxx] [-e=xxx] [-re=xxx] [-i=xxx] [-k=xxx] [-t=xxx] [-conf=xxx] 批量设置对象元数据 Bash ./tosutil setmeta...
对象存储服务等级协议变更公告
为了给您提供更优质的服务并合法保障您的权益,对象存储将于 2023 年 7 月 10 日变更服务等级协议。 生效日期2023 年 7 月 15 日 变更说明服务等级变更点如下所示: 术语和定义:优化了有效请求和失败请求的场景说明。 服务可用性:明确了存储类型的冗余条件。 赔偿方案:明确了存储类型的冗余条件。 服务等级协议地址最新的服务等级协议地址,请参见对象存储服务等级协议(SLA)。
管理对象元数据(.NET SDK)
对象元信息是对象的属性描述,包括 HTTP 标准属性(HTTP Header)和用户自定义元数据(User Meta)两种。 注意事项只有对象拥有者,具备设置对象元数据权限。 设置用户自定义元数据时,英文字母自定义元数据 Key 只支持小... 指定对象权限为私有,存储类型为低频并设置元数据信息 var uploadID = ""; try { var createMultipartUploadInput = new CreateMultipartUploadInput() ...
管理对象元数据(Java SDK)
对象元数据是对象的属性描述,包括 HTTP 标准属性(HTTP Header)和用户自定义元数据(User Meta)两种。TOS Java SDK 支持对单个对象设置元数据,以及查看对象元数据信息。 设置对象元数据注意 要设置对象元数据,您的账号必须具备 tos:PutObject 权限,具体操作请参见权限配置指南。 您可以在上传对象时直接设置对象元数据,也可以在上传完成后,通过 TOS Java SDK 的 setObjectMeta 接口对已存在的对象设置元数据。 上传对象时设置对象...
IDC共享云上对象存储服务
本文将介绍如何通过私网连接服务将火山引擎对象存储服务共享给本地IDC。 场景介绍云上VPC或云下IDC通过私网连接服务可以安全地访问云上的对象存储服务(Tinder Object Storage,简称TOS),同时能够避免多云场景下,不同云厂商之间云服务地址冲突的问题。 云服务指由云厂商提供的云上公共服务,火山引擎提供的云服务部署在100.64.0.0/10网段,例如TOS服务。 本文为您介绍使用私网连接打通TOS服务时不同场景的的配置指导。 终端节点服务与...
管理对象元数据(Python SDK)
对象元信息是对象的属性描述,包括 HTTP 标准属性(HTTP Header)和用户自定义元数据(User Meta)两种。 设置自定义元数据注意 要设置对象元数据,您必须具备 tos:PutObject 权限,具体操作请参见权限配置指南。 设置用户... 强烈建议日志中保存 print('error with request id: {}'.format(e.request_id)) print('error with message: {}'.format(e.message)) print('error with http code: {}'.format(e.status_code)) print...
