对象存储元数据检索
社区干货
火山引擎DataLeap的Data Catalog系统搜索实践 (上)
对象存储,分布式文件系统如LasFS等。带来的主要挑战是不同类型的资产,搜索的字段和权重有明显差异。- **支持个性化**。目前系统的用户遍布整个公司,角色涵盖数据工程师,数据分析师,产品经理,项目经理,销售和数据科学家等等,需要完成的数据工作任务差异也比较大,比如数据开发,数据治理,BI,数据分析和机器学习等等,因此个性化对Data Catalog的搜索尤为重要。- **支持各种业务** **元数据** **的高级筛选**。数据资产除了名称...
如何又快又好实现Catalog系统搜索能力?火山引擎DataLeap这样做
对象存储,分布式文件系统如LasFS等。带来的主要挑战是不同类型的资产,搜索的字段和权重有明显差异。- **支持个性化**。目前系统的用户遍布整个公司,角色涵盖数据工程师,数据分析师,产品经理,项目经理,销售和数据科学家等等,需要完成的数据工作任务差异也比较大,比如数据开发,数据治理,BI,数据分析和机器学习等等,因此个性化对Data Catalog的搜索尤为重要。- **支持各种业务** **元数据** **的高级筛选**。数据资产除了名称...
计算引擎在K8S上的实践|社区征文
因此数据平台也面临着从Hadoop到云原生的探索。我们做了一些尝试:首先是存储,使用OSS等对象存储替代了HDFS。其次就是计算,也是本篇文章将要介绍的,将Spark计算任务从Yarn迁移至K8S上运行。# 最初的尝试spark-thr... 因为我们使用了hive的元数据信息,所有镜像中打入了mysql的jar包。```yamlapiVersion: apps/v1kind: Deploymentmetadata: name: spark-thrift-server-test namespace: default labels: app.kubernete...
对象存储 Android SDK 是否支持访问CDN地址来下载对应bucket的资源
对象存储 Android SDK 是否支持访问CDN地址来下载对应bucket的资源呢?还有就是是否支持通过https协议来访问CDN地址呢
特惠活动
对象存储元数据检索-优选内容
对象存储元数据检索-相关内容
对象存储日志分析功能免费额度变更说明
为了给您提供更加优质的服务,火山引擎对象存储产品的日志分析功能将于 2023 年 8 月 30 日开始限制免费使用额度,超出额度后,将由日志服务单独收费。 计费开始时间2023 年 8 月 30 日 计费说明TOS 与日志服务深度结合,免费提供最近 7 天内的 TOS 实时日志查询。TOS 将于 2023 年 8 月 30 日开始限制免费使用额度,免费额度如下: 每日日志写入流量:900GiB 每日日志索引流量:900GiB 免费天数内超出免费额度的部分或者使用超出免费天...
对象存储带宽流控优化说明
为了更好地提升服务体验,火山引擎对象存储产品将优化读写带宽触发流控后的表现。 优化生效时间2023 年 7 月 30 日 23:59 优化说明对象存储产品存在读写带宽限制,达到阈值后将触发流控,流控行为如下所示: 优化前:触发流控后会直接响应 429 错误,拒绝请求。 优化后:触发流控后会整体降速,不会拒绝请求。 TOS 的带宽限制说明,请参见约束限制。
管理对象元数据(.NET SDK)
对象元信息是对象的属性描述,包括 HTTP 标准属性(HTTP Header)和用户自定义元数据(User Meta)两种。 注意事项只有对象拥有者,具备设置对象元数据权限。 设置用户自定义元数据时,英文字母自定义元数据 Key 只支持小... 指定对象权限为私有,存储类型为低频并设置元数据信息 var uploadID = ""; try { var createMultipartUploadInput = new CreateMultipartUploadInput() ...
对象存储服务等级协议变更公告
为了给您提供更优质的服务并合法保障您的权益,对象存储将于 2023 年 7 月 10 日变更服务等级协议。 生效日期2023 年 7 月 15 日 变更说明服务等级变更点如下所示: 术语和定义:优化了有效请求和失败请求的场景说明。 服务可用性:明确了存储类型的冗余条件。 赔偿方案:明确了存储类型的冗余条件。 服务等级协议地址最新的服务等级协议地址,请参见对象存储服务等级协议(SLA)。
管理对象元数据(Android SDK)
对象元信息是对象的属性描述,包括 HTTP 标准属性(HTTP Header)和用户自定义元数据(User Meta)两种。 设置对象元数据以下代码展示如何通过 setObjectMeta 接口设置对象的 Content-Type,以及设置对象的自定义元数据,... // 设置对象访问权限,此处为私有权限 options.setAclType(ACLType.ACL_PRIVATE); // 设置对象存储类型 options.setStorageClass(S...
实现 vePFS 与对象存储 TOS 之间数据流动
本文介绍如何实现文件存储 vePFS 与对象存储 TOS 之间的数据流动。 适用场景加载数据集场景(TOS->vePFS):数据集从 TOS 流动到 vePFS,用于数据清洗和 GPU 训练。 训练数据归档场景(vePFS->TOS):GPU 训练的 CheckPoint 数据和训练结果归档到的至对象存储。 前提条件ECS 和 TOS 带宽均满足数据流动需求。 不同规格的 ECS 实例的网络带宽不同,建议您选择网络出入带宽 20Gbps 以上的 ECS 实例。ECS 规格详情,请参见 ECS 规格说明。 ...
对象存储账单功能优化通知
为了更好地支持根据 Project 分账的功能,火山引擎对象存储产品将于 2023年 6 月 27 日 13:00 优化变更用量的推送出账逻辑。 优化上线时间2023年 6 月 27 日 13:00 账单优化说明账单功能优化点如下: 账单明细优化点如下: 优化前账单明细:扩展字段体现桶信息。 优化后账单明细:扩展字段将不再体现桶信息,账单明细中的用量为所有桶的合计用量,价格等不做调整。 如果您希望获取单独桶及相应的分账用量信息,请提前在费用中心-分账账...
管理对象元数据(Python SDK)
对象元信息是对象的属性描述,包括 HTTP 标准属性(HTTP Header)和用户自定义元数据(User Meta)两种。 设置自定义元数据注意 要设置对象元数据,您必须具备 tos:PutObject 权限,具体操作请参见权限配置指南。 设置用户... 强烈建议日志中保存 print('error with request id: {}'.format(e.request_id)) print('error with message: {}'.format(e.message)) print('error with http code: {}'.format(e.status_code)) print...
设置对象元数据(setmeta)
您可以通过 setmeta 命令设置对象元数据。 命令格式Linux/macOS设置单个对象元数据 Bash ./tosutil setmeta tos://bucket/key [-versionId=xxx] [-meta=aaa:bbbccc:ddd] [-contentType=xxx] [-contentDisposition=xxx] [-contentEncoding=xxx] [-contentLanguage=xxx] [-cacheControl=xxx] [-expires=xxx] [-fr] [-o=xxx] [-e=xxx] [-re=xxx] [-i=xxx] [-k=xxx] [-t=xxx] [-conf=xxx] 批量设置对象元数据 Bash ./tosutil setmeta...
