对象存储的元数据搜索
社区干货
火山引擎DataLeap的Data Catalog系统搜索实践 (上)
对象存储,分布式文件系统如LasFS等。带来的主要挑战是不同类型的资产,搜索的字段和权重有明显差异。- **支持个性化**。目前系统的用户遍布整个公司,角色涵盖数据工程师,数据分析师,产品经理,项目经理,销售和数据科学家等等,需要完成的数据工作任务差异也比较大,比如数据开发,数据治理,BI,数据分析和机器学习等等,因此个性化对Data Catalog的搜索尤为重要。- **支持各种业务** **元数据** **的高级筛选**。数据资产除了名称...
火山引擎DataLeap的Catalog系统搜索实践(一):背景与功能需求
每天有70%以上的用户会使用搜索功能。业界主要的Augmented Data Catalog需要支持Google一样的搜索体验来搜索数据资产,以满足不同角色的用户的找数需求。火山引擎DataLeap也一样,搜索需要支持的主要功能包括:- **支持多种不同类型资产的搜索**。目前系统中已经包含15+种数据源,可以分为几大类:数仓表比如Hive,看板,数据集,实时表,Topic,对象存储,分布式文件系统如LasFS等。带来的主要挑战是不同类型的资产,搜索的字段和权重...
计算引擎在K8S上的实践|社区征文
因此数据平台也面临着从Hadoop到云原生的探索。我们做了一些尝试:首先是存储,使用OSS等对象存储替代了HDFS。其次就是计算,也是本篇文章将要介绍的,将Spark计算任务从Yarn迁移至K8S上运行。# 最初的尝试spark-thr... 因为我们使用了hive的元数据信息,所有镜像中打入了mysql的jar包。```yamlapiVersion: apps/v1kind: Deploymentmetadata: name: spark-thrift-server-test namespace: default labels: app.kubernete...
如何又快又好实现Catalog系统搜索能力?火山引擎DataLeap这样做
对象存储,分布式文件系统如LasFS等。带来的主要挑战是不同类型的资产,搜索的字段和权重有明显差异。- **支持个性化**。目前系统的用户遍布整个公司,角色涵盖数据工程师,数据分析师,产品经理,项目经理,销售和数据科学家等等,需要完成的数据工作任务差异也比较大,比如数据开发,数据治理,BI,数据分析和机器学习等等,因此个性化对Data Catalog的搜索尤为重要。- **支持各种业务** **元数据** **的高级筛选**。数据资产除了名称...
特惠活动
对象存储的元数据搜索-优选内容
对象存储的元数据搜索-相关内容
管理对象元数据(Android SDK)
对象元信息是对象的属性描述,包括 HTTP 标准属性(HTTP Header)和用户自定义元数据(User Meta)两种。 设置对象元数据以下代码展示如何通过 setObjectMeta 接口设置对象的 Content-Type,以及设置对象的自定义元数据,... // 设置对象访问权限,此处为私有权限 options.setAclType(ACLType.ACL_PRIVATE); // 设置对象存储类型 options.setStorageClass(S...
设置对象元数据(setmeta)
您可以通过 setmeta 命令设置对象元数据。 命令格式Linux/macOS设置单个对象元数据 Bash ./tosutil setmeta tos://bucket/key [-versionId=xxx] [-meta=aaa:bbbccc:ddd] [-contentType=xxx] [-contentDisposition=xxx] [-contentEncoding=xxx] [-contentLanguage=xxx] [-cacheControl=xxx] [-expires=xxx] [-fr] [-o=xxx] [-e=xxx] [-re=xxx] [-i=xxx] [-k=xxx] [-t=xxx] [-conf=xxx] 批量设置对象元数据 Bash ./tosutil setmeta...
管理对象元数据(Python SDK)
对象元信息是对象的属性描述,包括 HTTP 标准属性(HTTP Header)和用户自定义元数据(User Meta)两种。 设置自定义元数据注意 要设置对象元数据,您必须具备 tos:PutObject 权限,具体操作请参见权限配置指南。 设置用户... 强烈建议日志中保存 print('error with request id: {}'.format(e.request_id)) print('error with message: {}'.format(e.message)) print('error with http code: {}'.format(e.status_code)) print...
元数据发现
推断数据结构,从而自动化元数据定义,极大缩减数据从产生到应用的整体链路。 通过元数据发现,数据湖体系可以真正实现 Schema on Read , 在存储数据之后再统一定义数据结构,使用较少的初始工作,提供更大的灵活性和更快的洞察速度。 被元数据发现所定义的元数据,也可以直接在 LAS 中进行查询,形成生态闭环。 2. 前置条件 2.1 目前支持数据源:对象存储 TOS 2.2 目前支持的数据格式为 CSV、Parquet 2.3 用户具有 TOS 桶的访问权限 2.4...
获取桶元数据(iOS SDK)
存储桶是存储对象的容器,该操作可以判断桶是否存在,以及获取桶的元数据。 示例代码如下代码展示如何获取桶的元数据。 objectivec // 从STS服务获取的临时访问密钥和安全令牌(AccessKey、SecretKey、SecurityToken)TOSCredential *credential = [[TOSCredential alloc] initWithAccessKey:@"accesskey" secretKey:@"secretkey" securityToken:@"securityToken"];TOSEndpoint *tosEndpoint = [[TOSEndpoint alloc] initWithURLStri...
获取桶元数据(PHP SDK)
存储桶是存储对象的容器。本文介绍获取桶元数据的示例代码。 示例代码您可以通过 TosClient->headBucket 接口获取桶元数据,通过该接口您还可以判断桶是否存在,示例代码如下: php 'your region', 'endpoint' => 'your endpoint', // 从环境变量中获取访问密钥 'ak' => getenv('TOS_ACCESS_KEY'), 'sk' => getenv('TOS_SECRET_KEY'), ]); $input = new HeadBucketInput('bucket-test'); ...
对象存储-火山引擎
火山引擎对象存储是火山引擎提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。通过网络,您可以在任何应用、任何时间、任何地点管理和访问火山引擎对象存储上的数据
管理对象元信息(Node.js SDK)
对象元信息是对象的属性描述,包括 HTTP 标准属性(HTTP Header)和用户自定义元数据(User Meta)两种。 注意事项只有对象拥有者,具备设置对象元数据权限。 设置用户自定义元数据时,英文字母自定义元数据 Key 只支持小... // 存储桶中的对象名const objectKey = 'example_dir/example.txt';async function main() { try { const { requestId } = await client.setObjectMeta({ bucket: bucketName, key: objectKey, ...
管理对象元信息(Browser.js SDK)
对象元信息是对象的属性描述,包括 HTTP 标准属性(HTTP Header)和用户自定义元数据(User Meta)两种。 注意事项为了避免在浏览器环境中暴露您的火山引擎账号密钥信息(即 AccessKey ID 和 AccessKey Secret),强烈建议您使用临时访问凭证的方式执行 TOS 相关操作,详细说明,请参见使用 STS 临时 AK/SK+Token 访问火山引擎 TOS。 Endpoint 为 TOS 对外服务的访问域名。TOS 支持的 Endpoint 信息,请参见访问域名 Endpoint。 只有对象拥有...
