在字节跳动内部,不同的业务线及产品背后,其实是有着大量的中台在进行支持。以抖音和今日头条为例,从内容运营的角度,核心逻辑是怎么样把优质的内容生产出来,准确地分发到不同的用户并且及时的收到反馈,以此来不断形... 反欺诈或者说异常的监测场景,这些对于数仓的实时性能力要求更高,倒逼着对数据仓库做细分能力的增强。本质上来说,金融行业的实时数仓,是对于数仓和大数据能力里的一些实时性能力的抽象结合以及升级。 ...
字节的挑战与实践 首先来看一个问题:“一家公司,数据体系要怎么搭建?”* 方案一: **整体规划,系统架构驱动*** 方案二: **问题出发,业务价值驱动**在字节跳动,我们选择的是方案二,即... 比如看板已经反映出成本增加、延时变长或者数据质量变差,团队管理者发起报告或事故,推动业务单元同事进行数据治理,最后进行复盘。* 第二种是响应式。比如生产者收到一个数据质量或延时的报警,随后快速定位原因并做...
**—— 文末参与限时抽奖,获取赠书福利 ——** 在数字化时代,企业内部越来越展现出对海量数据存储、治理、运维、评估、决策需求。数据中台的出现可以更大程度发挥数据价值,打破企业内部数据孤岛,更好、更快服务于企业内部决策与业务增长。 字节跳动数据平台,承担了字节内部数据驱动的重要工作,服务了抖音、西瓜视频等多条业务线。同时,字节跳动数据平台也将多年的技术实践所得到的经验与能力通过...
点击上方👆蓝字关注我们! 活动介绍 当前,软件正在走向移动化。在移动互联网的浪潮中,字节跳动发展至今,丰富的线上 APP 产品服务着数以亿计的用户。面对众多应用及现代化的应用形态,字节跳动如何高效进行移动开发,并保证线上应用的质量?火山引擎开发者社区 Meetup 第七期邀请到了字节跳动 4 位移动开发和质量保证领域的工程师, **从小程序、DevOps、客户端性能优化、移动端自动化实践...
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/fad91404fb1c46fe85a1fed86bd6a1ce~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1713630033&x-signature=7Zs6hoP7tjruQkv1Rk5VrApnhmc%3D)2016 年 6 月,字节跳动启用 Kubernetes 技术栈,开始对业务进行大规模容器化改造;伴随 2017-2018 年期间的阶段性上量,到 2018 年,字节跳动在一年内部署的容器单集群已经达到了上万个节点…...
字节跳动云原生大数据的发展之路讲师:余炜强-火山引擎云原生计算架构师时间:3月18日 14:00-14:45议题简介:随着字节跳动旗下业务的快速发展,数据急剧膨胀,原有的大数据架构在面临日趋复杂的业务需求时逐渐显现疲态。而伴随着大数据架构向云原生演进的行业趋势,字节跳动也对大数据体系进行了云原生改造。本次分享将详细介绍字节跳动云原生大数据的构建思路、及演进与实践。听众收益:- 了解云原生如何解决架构痛点 (业...
点击上方👆蓝字关注我们! ![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/e8df7638ab6d4b43b095dd3b73117f85~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1713630039&x-signature=x8xn52fIqoRemHXOPn85Q2SecrQ%3D) **字节微服务框架的挑战和演进** 2014 年以来,字节跳动内部业务的快速发展,推动了长连接推送服务,它们面临...
**字节跳动云原生大数据的发展之路** **讲师:****余炜强-火山引擎云原生计算架构师****时间:3月18日 14:00-14:45****议题简介:**随着字节跳动旗下业务的快速发展,数据急剧膨胀,原有的大数据架构在面临日趋复杂的业务需求时逐渐显现疲态。而伴随着大数据架构向云原生演进的行业趋势,字节跳动也对大数据体系进行了云原生改造。本次分享将详细介绍字节跳动云原生大数据的构建思路、及演进与实践。**听众收益:**...
字节跳动数据治理背景 在字节跳动内部,作为统一的数据治理平台方,我们的目标是:“建立一站式、全链路的数据治理解决方案平台”,治理平台肩负了四个使命:* **第一,让数据价值最大化**。这里... 可能再反哺到我们具体的一些规则的制定上面去。比如说更进一步配置一些监控规则,来预防治理的一些问题。**全规则**全规则目标是提供比较完备的治理规则能力,能够服务于刚才所说的这种规划式资产组合与响应...
并进行了名为《字节基于开源 OLAP 引擎的探索与实践》主题分享。本文总结了此次分享的关键内容和分享材料。目前 OLAP 引擎在用户的报表分析,用户行为分析,市场预测与决策支持,用户画像与推荐等场景中起着非常重要的作用。但目前开源的 OLAP 引擎繁多,不同的业务场景如何去选择适合的 OLAP 引擎?OLAP 引擎的性能与资源消耗如何?在使用 OLAP 引擎过程中踩过哪些坑?OLAP 引擎的演进趋势是什么? 本次分享介绍了字节跳动基于开源...
**字节跳动流式计算负责人张光辉受邀担任议题评选委员。**本次大会,字节跳动 7 项议题入选, **除了 Flink OLAP 的技术细节更新与落地案例、字节跳动大数据容器化实践,更有抖音、头条等业务背后的推荐平台、实时数仓、业务运维实战分享。**![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/854a366437ea4aaeab644da31f6344c1~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1713...
> > > 作为数据目录产品,Data Catalog 通过汇总技术和业务元数据,解决大数据生产者组织梳理数据、数据消费者找数和理解数的业务场景,并服务于数据开发和数据治理的产品体系。> 本文介绍了字节跳动Data Catalog系统的构建和迭代过程,将分为上、下篇发布。 **上篇主要围绕Data Catalog调研思路及技术架构展开。**> > > > ![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/...
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/5059f3e961cd40d592b5ac36010b7047~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1713630029&x-signature=pC9IhL%2BM3Ap4TDlNR2%2F%2FYrmzzGk%3D) 来源|CloudWeGo 开源社区重磅,由 **字节跳动服务框架团队** 联合 **CloudWeGo 开源社区** 出品的 《CloudWeGo 技术白皮书: 字节跳动云原生微服务架构原理与开源实践 ...