> > > 本文通过调研学术、商业、开源三个领域词云相关的产品,对词云相关算法、产品进行从上至下的总结,帮助读者快速了解词云相关的算法发展,并希望总结出当前字节跳动数据平台词云发展的路线。 全文将分两次推送... **使用简单的螺旋线算法实现。**2. 最好能够 **保留纯前端的图形分割** ,对每个 独立的图形/切割后的图形 进行独立的螺旋线算法可以极强的提高结果的美观度。3. **保留二次填充算法。** 在核心单词布局完之后...
文章会为大家讲解字节跳动 **在Spark技术上的实践** ——LAS Spark的基本原理,分析该技术相较于社区版本如何实现性能更高、功能更多,为大家揭秘该技术做到极致优化的内幕,同时,还会为大家带来团队关于LAS Spark技... 减少非必要开销,降低成本。** ![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/2480e5d589654956bc72828c434ddb8d~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-e...
> 本文是字节跳动数据平台开发套件团队在Flink Forward Asia 2021: Flink Forward 峰会上的演讲,着重分享了字节跳动数据湖技术上的选型思考和探索实践。![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k... 没有索引的合并开销是有索引的两倍,并且如果随着底表数据量的增大,这个性能差距会呈指数型上升。所以,在字节跳动的业务数据量级下,索引带来的性能收益是非常巨大的。Hudi提供了多种索引来适配不同的场景,每种索...
(https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/1b6bf280fec04dcd8f282a952d0beca3~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1716049251&x-signature=3EmJ0tom6g%2BeyxiTmOuPps2oHig%3D)* State索引中保存了所有主键和文件ID的一一映射关系,对于Update数据,会找到其所存在的文件ID,对于Insert数据,索引层会给他指定一个新的文件ID,或者是历史文件中的小文件,让其填充到小文件中,从而避免小文...
(https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/1b6bf280fec04dcd8f282a952d0beca3~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1716049251&x-signature=3EmJ0tom6g%2BeyxiTmOuPps2oHig%3D)* State索引中保存了所有主键和文件ID的一一映射关系,对于Update数据,会找到其所存在的文件ID,对于Insert数据,索引层会给他指定一个新的文件ID,或者是历史文件中的小文件,让其填充到小文件中,从而避免小文...
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/91cc8ae73f8a4d338b0a74bdf9e91217~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1716049262&x-signature=zCa75ih5zA3PJJKxwsNnsTZ2LNI%3D)作者 | 字节跳动基础架构字节服务体系大致分为微服务、推广搜服务、视频处理、机器学习和大数据服务。在线微服务是指支撑应用的业务逻辑、产品基础功能的后端服务,它包括接口、...
点击上方👆蓝字关注我们! ![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/e8df7638ab6d4b43b095dd3b73117f85~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1716049269&x-signature=DCQBxao7d2aEe%2FfaltMrAzP5eBg%3D) **字节微服务框架的挑战和演进** 2014 年以来,字节跳动内部业务的快速发展,推动了长连接推送服务,它们面...
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/950734b9a8844f0aaee64eb1eb357027~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1716049231&x-signature=1b0ooZ4ghmeBc7fPK%2BbEv0bwApM%3D)作为字节跳动在离线混部场景中最核心的调度系统,Gödel 提供丰富的资源 QoS 管理能力,可以统一调度在线和离线应用,极大提升资源利用率。来源 | 字节跳动基础架...
点击上方👆蓝字关注我们! ![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/f8ff5fc1dfdc4d5cbfcf457edb94a1fc~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-... VikingDB 在字节内部的应用向量数据库近来的火热来源于大语言模型的兴起,但在大模型兴起之前,VikingDB 已经在字节内部广泛应用,最初应用在推荐、广告、搜索的召回环节,后来逐步扩展到了消重、风控、对话、文档搜...
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/f97f74726e014826b02dc1543ebb2a95~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1716049231&x-signature=VBklaejYdGozQO3BSeeJ6ZhpWdE%3D)> > 作为字节跳动在离线混部场景中最核心的调度系统,Gödel 提供丰富的资源 QoS 管理能力,可以统一调度在线和离线应用,极大提升资源利用率。来源 | 字节跳动基础架构团队开源 | [github...
字节跳动的消息队列团队不仅要支撑公司内部消息队列系统的设计、开发和维护工作,还要解决诸多技术难题和痛点,例如如何稳定高效地处理海量数据、如何降低运维成本等。目前经过技术优化和迭代改进,字节跳动的消息队列平台支持弹性扩缩容、高吞吐、低延迟等特性,已经可以稳定承载每秒数十 T bytes 的流量。受限于篇幅,本系列文章将分为上下篇。 **本文将主要从字节消息队列的演进过程及在过程中遇到的痛点问题,和如何通过自研云原生...
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/a0ddfa72a46a46df81a1fc723458a633~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1716049251&x-signature=g5xj1L4Ol... 分享字节跳动解决ClickHouse复杂查询问题的优化思路与技术细节。> **关注字节跳动数据平台微信公众号,回复【0711】获得本次分享材料。**> > > > ![picture.image](https://p6-volc-community-si...
VisActor是近期 **字节跳动面向叙事的开源智能可视化解决方案。** 本篇将从 **七个方向,** 介绍如何基于VisActor构建出一款支持千亿级别数据自助分析的一站式数据分析与协作平台DataWind。 ![pic... 填充地图、散点地图、词云图、直方图、雷达图、漏斗图、指标卡、仪表图、进度图、瀑布图等,以及关系图表类型桑基图。 ![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-t...