云hive
社区干货
火山引擎DataLeap的Data Catalog系统公有云实践 (上)
本文汇集了Data Catalog团队在最近一年公有云从0到1实践的整体经验,主要讲解遇到的各项挑战和对应的解决方案。# Data Catalog公有云发展历程Data Catalog已经随着DataLeap一起作为公有云产品正式在火山引擎对外发布,下面是Data Catalog在功能演进上的一些重要时间节点:- 2021年9月,Data Catalog随着DataLeap完成在火山引擎公有云首个版本部署和发布,包含60%内部核心功能,支持EMR Hive数据源元数据管理。- 2022年2月,D...
火山引擎DataLeap的Data Catalog系统公有云实践
本文汇集了Data Catalog团队在最近一年公有云从0到1实践的整体经验,主要讲解遇到的各项挑战和对应的解决方案。# Data Catalog公有云发展历程Data Catalog已经随着DataLeap一起作为公有云产品正式在火山引擎对外发布,下面是Data Catalog在功能演进上的一些重要时间节点:- 2021年9月,Data Catalog随着DataLeap完成在火山引擎公有云首个版本部署和发布,包含60%内部核心功能,支持EMR Hive数据源元数据管理。 - 2022年2月,D...
LAS Spark+云原生:数据分析全新解决方案
比如 Hive MetaStore Service,ByteLake MetaStore Service 以及其他元数据服务。这些元数据服务与 CatalogService 进行对接,以统一向上层引擎提供元数据服务。最后一层是 MetaStore 的存储层,它通过插件式的方式来提供不同的存储引擎,来满足上层不同元数据服务实例的存储要求。4. # LAS Batch Scheduler:云原生批处理调度器Spark 作业提交到 Kubernetes 集群之后,如何高效的进行资源调度成为 LAS Spark 需要解决的下一个课...
干货| 火山引擎DataLeap的Data Catalog系统公有云实践
**Data Catalog公有云发展历程**=========================Data Catalog已经随着DataLeap一起作为公有云产品正式在火山引擎对外发布,下面是Data Catalog在功能演进上的一些重要时间节点:* 2021年9月,Data Catalog随着DataLeap完成在火山引擎公有云首个版本部署和发布,包含60%内部核心功能,支持EMR Hive数据源元数据管理。* 2022年2月,Data Catalog随着DataLeap完成火山引擎公有云Beta版本发布,吸引了一批...
特惠活动
云hive-优选内容
云hive-相关内容
干货| 火山引擎DataLeap的Data Catalog系统公有云实践
**Data Catalog公有云发展历程**=========================Data Catalog已经随着DataLeap一起作为公有云产品正式在火山引擎对外发布,下面是Data Catalog在功能演进上的一些重要时间节点:* 2021年9月,Data Catalog随着DataLeap完成在火山引擎公有云首个版本部署和发布,包含60%内部核心功能,支持EMR Hive数据源元数据管理。* 2022年2月,Data Catalog随着DataLeap完成火山引擎公有云Beta版本发布,吸引了一批...
火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0(中)
> 更多技术交流、求职机会,欢迎关注**字节跳动数据平台微信公众号,回复【1】进入官方交流群** 近日,《火山引擎云原生数据仓库 ByteHouse 技术白皮书》正式发布。白皮书简述了 ByteHouse 基于 ClickHouse 引擎的发展历程,首次详细展现 ByteHouse 的整体架构设计及自研核心技术,为云原生数据仓库发展,及企业数字化转型实战运用提供最新的参考和启迪。 **以下为 ByteHouse 技术白皮书整体架构设计版块摘录。** [点...
火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0 (Ⅳ)
> 更多技术交流、求职机会,欢迎关注**字节跳动数据平台微信公众号,回复【1】进入官方交流群**近日,《火山引擎云原生数据仓库 ByteHouse 技术白皮书》正式发布。白皮书简述了 ByteHouse 基于 ClickHouse 引擎的发展历程,首次详细展现 ByteHouse 的整体架构设计及自研核心技术,为云原生数据仓库发展,及企业数字化转型实战运用提供最新的参考和启迪。以下为 ByteHouse 技术白皮书【数据导入导出】版块摘录。技术白皮书(Ⅰ)(Ⅱ...
LAS Spark+云原生:数据分析全新解决方案
比如 Hive MetaStore Service,ByteLake MetaStore Service 以及其他元数据服务。这些元数据服务与 CatalogService 进行对接,以统一向上层引擎提供元数据服务。最后一层是 MetaStore 的存储层,它通过插件式的方式来提供不同的存储引擎,来满足上层不同元数据服务实例的存储要求。# 4. LAS Batch Scheduler:云原生批处理调度器Spark 作业提交到 Kubernetes 集群之后,如何高效的进行资源调度成为 LAS Spark 需要解决的下一个...
干货|以 100GB SSB 性能测试为例,通过 ByteHouse 云数仓开启你的数据分析之路
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/20c4f53753d547479722317563ec74f7~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1716135652&x-signature=HRp37qULSFenjZs48X9bl0nbt9E%3D) 从传统数仓、湖仓一体再到云数仓,技术快速迭代,云数仓已经成为数字化基础设施中的关键“底座”。 **如何才能丝滑使用一款云数仓产品,本篇文章用五个步骤教你搞定!** ...
风很大的“云数仓”到底怎么用?三家企业交出答卷
> 更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群近年来,数字化转型的浪潮席卷全球,百行千业都在面临着前所未有的海量、复杂的数据处理任务,传统 OLAP 技术架构中的痛点变得越来越明显,如扩容缩容耗时长,导致资源利用率偏低,成本居高不下;运维配置复杂,需要专业的技术人员介入等。 为了解决上述问题,云原生数仓(以下简称云数仓)应运而生。 与传统方案不同的是:云数仓借助于云...
后 Hadoop 时代,字节跳动如何打造云原生计算平台
在数据上云的时代,对象存储也取代了一部分 HDFS 文件系统。近几年,云原生又火了起来,行业里再次开始了对大数据体系的云原生改造,同时 Kubernetes(K8s) 的流行,也让同为资源管理的 YARN 地位越来越尴尬。然而,过去的技术体系在很多企业系统里仍发挥着很重要的作用,在技术更新迭代的时候,业务不能随意变动,那么我们在新旧技术共存的条件下,如何发挥新技术的最大潜力?字节跳动成立于 2012 年,也是大数据崛起之时,跟众多中小企...
基于 Zeppelin 的 Flink/Spark 云原生实践
本文整理自火山引擎云原生计算研发工程师陶克路、王正在 ApacheCon Asia 2022 上的演讲。文章主要介绍了 Apache Zeppelin 支持 Flink 和 Spark 云原生实践。作者|火山引擎云原生计算研发工程师-陶克路... 因为在云上的存储大部分都会用支持 S3 协议的对象存储,比如 AWS 的 S3、阿里云的 OSS、火山引擎的头条 TOS等,所以在此做增强后可以在执行时支持动态下载远程的 Jar 包。* **支持 HiveCatalog 原生的** **SQL*...
一文读懂火山引擎云数据库产品及选型
> **火山引擎存储&数据库产品解决方案团队**,由资深的存储&数据库解决方案架构师组成。团队致力于帮助企业与组织更好的使用火山引擎云存储与云数据库产品,针对实际业务场景设计最优的解决方案,用专业技术助力组织和企业实现业务成功。## 为什么要做数据库选型### 数据库选型的重要性与难点发展数字经济是当下各行各业的重要方向。支撑数字经济的底座是软件,特别是基础软件,可以说基础软件是整个数字经济的坚实底座。在基础软...
