本文将主要介绍 MetaApp 数据分析平台的功能,业务场景中遇到的问题及解决方案以及引入 ByConity 对其业务的帮助。# MetaApp OLAP 数据分析平台架构及功能随着业务的增长,精细化运营的提出,产品对数据部门提出了更高的要求,包括需要对实时数据进行查询分析,快速调整运营策略;对小部分人群做 AB 实验,验证新功能的有效性;减少数据查询时间,降低数据查询难度,让非专业人员可以自主分析、探查数据等。为满足业务需求,MateApp 实现...
本文将主要介绍 MetaApp 数据分析平台的功能,业务场景中遇到的问题及解决方案以及引入 ByConity 对其业务的帮助。 MetaApp OLAP 数据分析平台架构及功能 随着业务的增长,精细化运营的提出,产品对数据部门提出了更高的要求,包括需要对实时数据进行查询分析,快速调整运营策略;对小部分人群做 AB 实验,验证新功能的有效性;减少数据查询时间,降低数据查询难度,让非专业人员可以自主分析、探查数据...
本文将主要介绍 MetaApp 数据分析平台的功能,业务场景中遇到的问题及解决方案以及引入 ByConity 对其业务的帮助。 **0****1** **MetaApp OLAP 数据分析平台架构及功能**随着业务的增长,精细化运营的提出,产品对数据部门提出了更高的要求,包括需要对实时数据进行查询分析,快速调整运营策略;对小部分人群做 AB 实验,验证新功能的有效性;减少数据查询时间,降低数据查询难度,让...
> 23年8月16日~18日,由IT168联合旗下 ITPUB、ChinaUnix 两大技术社区主办的第14届中国数据库技术大会(DTCC2023)在北京国际会议中心隆重召开。火山引擎开源大数据平台 EMR 技术专家杜军令受邀参加【数据湖与实时数仓技术应用实践】专场,并进行了名为《字节基于开源 OLAP 引擎的探索与实践》主题分享。本文总结了此次分享的关键内容和分享材料。目前 OLAP 引擎在用户的报表分析,用户行为分析,市场预测与决策支持,用户画像与推荐等...
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/a5705ebac58f43baa20eb2bb498ffd26~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715012447&x-signature=qF8%2FiSPf6obm49LcUjqOGPOtrcU%3D) 由于流量红利逐渐消退,精细化营销逐渐成为新趋势。在数据平台建设中,不少企业开始引入OLAP引擎以实现广告业务的精准投放。 本篇聚焦ByteHouse技术和落地经验,以字节跳动...
> 更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群计算机领域一直流传一句话——“没有银弹”,这句话出自计算机科学家布鲁克斯《没有银弹》一书,意思是软件工程是一个超级复杂系统,没有任何特效的方法,可以一直提高效率。 在数据库选型当中也是如此。一款面向实时查询场景的计算引擎,在离线场景的表现可能会稍显逊色。 以某内容APP对OLAP引擎选型为例。该内容APP基于OLAP引擎...
这部分重点分享火山OLAP云原生的能力。## OLAP云原生:企业级运维![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/543f04dc6c6f44ac848609ddb1434001~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715012477&x-signature=19JUxt0C6QH0xLsbFTj5Ud%2BjHMw%3D)OLAP云原生提供了两种形态,半托管及全托管。半托管针对自主能力及研发能力比较强的用户,火山提供运维平台,用户可自主...
> 更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群随着LLM技术应用及落地,数据库需要提高向量分析以及AI支持能力,向量数据库及向量检索等能力“异军突起”,迎来业界持续不断关注。简单来说,向量检索技术以及向量数据库能为 LLM 提供外置的记忆单元,通过提供与问题及历史答案相关联的内容,协助 LLM 返回更准确的答案。不仅仅是LLM,向量检索也早已在OLAP引擎中应用,用来提升非结构化数据的...
这部分重点分享火山OLAP云原生的能力。## **2.1 OLAP 云原生:企业级运维**![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/acecbf7e97c644b18cf7929d0f494ea6~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715012434&x-signature=025Q4XmY6rfP69v69YTxWoX8JO4%3D)OLAP云原生提供了两种形态,半托管及全托管。半托管针对自主能力及研发能力比较强的用户,火山提供运维平台,用户...
> 更多技术交流、求职机会,欢迎关注**字节跳动数据平台微信公众号,回复【1】进入官方交流群**在字节跳动各产品线飞速成长的过程中,对数据分析能力也提出了更高的要求,现有的主流数据分析产品都没办法完全满足业务要求。因此,字节跳动在 ClickHouse 引擎基础上重构了技术架构,实现了云原生环境的部署和运维管理、存储计算分离、多租户管理等能力,推出了云原生数据仓库 ByteHouse。我们可以从下面几个方面认识 ByteHouse:**极...
> 更多技术交流、求职机会,欢迎关注**字节跳动数据平台微信公众号,回复【1】进入官方交流群**数据导入是衡量 OLAP 引擎性能及易用性的重要标准之一,高效的数据导入能力能够加速数据实时处理和分析的效率。作为一款 OLAP 引擎,火山引擎云原生数据仓库 ByteHouse 源于开源 ClickHouse,在字节跳动多年打磨下,提供更丰富的能力和更强性能,能为用户带来极速分析体验,支撑实时数据分析和海量离线数据分析,具备便捷的弹性扩缩容能...
> 更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群在数据处理和分析的领域,提升查询效率始终是一项关键挑战。对于 OLAP 来说,性能的关键需求在于能支持实时分析,应对复杂查询,提供快速响应,并具备良好的可扩展性。这些方面,对于满足高效、准确的数据分析需求至关重要。 火山引擎正式发布《云原生数据仓库ByteHouse性能白皮书》,白皮书通过使用 SSB 100G、TPC-H 100G、TPC-DS 100G 数...
画像平台通常会遇到两方面的问题: **●**第一,由于此类查询分析是临时性的,各种标签组合数巨大,离线预计算无法满足此类灵活性。****●****第二,由于此类查询是实时场景,查询性能变得非常关键, 通常一次查询在分钟级,耗时较长,无法满足分析师需求。 这篇文章将会给大家分享人群圈选查询在实时分析OLAP场景下的解决思路,同时介绍如何利用ByteHouse来加速此类查询。从数据表现上看,在10亿级用户测试数据下,...