(https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/5b4d7b7475444931b0921a7d41c4c52e~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714839647&x-signature=0xDEGHOnFd8n%2FKN4%2FJC5hY1eLc8%3D) **数据血缘**是帮助用户找数据、理解数据以及使数据发挥价值的基础能力。本文将聚焦数据血缘存储和血缘导出,分享数据血缘的模型设计以及优化,并介绍字节跳动在数据血缘建设过程中所遇到的挑...
(https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/41c2a194f2eb497788ba5e21e7f1a1dc~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714839664&x-signature=f08x1NEG%2BVo53DJZLltTUH0Rt3c%3D) 字节跳动有众多的 APP 和服务,如何用混沌工程的方式保证这些系统和服务的高可用?本文详细介绍了字节跳动混沌工程技术的演进和系统高可用建设实践。 作者|邵育亮,基础架构...
> 企业级数仓架构设计与选型的时候需要从开发的便利性、生态、解耦程度、性能、 安全这几个纬度思考。本系列分两次连载,**第一部分(本文)分享我们在企业级数仓建设上的技术选型观点**,第二个部分则重点介绍了字节跳动数据平台在通过 SparkSQL 进行企业级数仓建设的实践。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/ef21ba68a716490c9a8bf873d5c7ecc2~tplv-tlddhu82om-image.image?=&r...
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/b22940e0f06844c9b1648353d212abe1~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714839646&x-signature=tN4GD2q0OPB1XXE%2F1%2FFlEFU1qt0%3D)> > > 本文将介绍字节跳动在埋点数据流业务场景遇到的需求和挑战以及具体实践,分为上下篇呈现。> [上篇主要包含> 埋点数据流简介与埋点数据流建设实践](http://mp.weixin.qq.co...
> 企业级数仓架构设计与选型的时候需要从开发的便利性、生态、解耦程度、性能、 安全这几个纬度思考。本系列分两次连载,**第一部分(本文)分享我们在企业级数仓建设上的技术选型观点**,第二个部分则重点介绍了字节跳动数据平台在通过 SparkSQL 进行企业级数仓建设的实践。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/ef21ba68a716490c9a8bf873d5c7ecc2~tplv-tlddhu82om-image.image?=&r...
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/b22940e0f06844c9b1648353d212abe1~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714839646&x-signature=tN4GD2q0OPB1XXE%2F1%2FFlEFU1qt0%3D)> > > 本文将介绍字节跳动在埋点数据流业务场景遇到的需求和挑战以及具体实践,分为上下篇呈现。> [上篇主要包含> 埋点数据流简介与埋点数据流建设实践](http://mp.weixin.qq.co...
文章来源 | VisActor 开源社区GitHub | github.com/VisActor **一、VisActor 是什么**![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/83abf5d98c6a4e40b49c74344306297... 你有多种方式参与 VisActor 的开源建设:1. 克隆你感兴趣的项目,提交 PR,具体方式参考 Code of Conduct 和 contributing guide。2. 当然,你也可以创建自己的开源项目,为 VisActor 生态添砖加瓦,我们一起宣传和建...
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/473fec0f4d504050bb82c5a0337d5f96~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714839651&x-signature=2rORMWRZ7CBovJT1pDwVQMItpOY%3D) > > > 本文将介绍字节跳动在埋点数据流业务场景遇到的需求和挑战以及具体实践,分为上下篇呈现。> **上篇主要包含> **埋点****> **数据流简介与埋点数据流建设实践;下篇主要包含...
以及到最后通过混沌工程的建设帮助业务提升高可用能力。接下来就进入正题。首先介绍一下字节跳动混沌工程建设的背景。大家知道字节跳动有很多 APP,我们有非常多的服务,这些服务大致可以分成三个类型:- **在线服务**:大家可以理解成支持抖音、西瓜视频等的后端服务。这些服务的特点是它们跑在我们自建的大规模 K8s 上的 PaaS 集群上,这是一套非常大的微服务架构。- **离线服务**:包括一些推荐模型的 training,大数据的 r...
近日,在[WOT全球技术创新大会2023“大前端最佳实践”](https://wot.51cto.com/act/wot2023/dev/page/publisher?publisher_id=1260)分论坛上,火山引擎云平台前端负责人蒋雷分享了主题为“火山引擎云平台前端稳定性建设实践”的演讲。此次分享以火山引擎云平台为例,从业务端切入,通过介绍前端稳定性对云平台的重要性,探讨了前端稳定性建设的目标、整体思路、建设流程及评价体系,分享了前端稳定性建设过程中面临的挑战和难点,以及...
### 1. 开篇2023年即将过去,又到了一年一度的技术总结时刻,在这一年,参与了多个大数据项目的开发建设工作,也参与了几个数仓项目的治理优化工作,在这么多的项目中,让我印象比较深刻的就是在使用Spark引擎执行任务出现的报错现象,接下来就回顾复盘下这次任务报错现象及具体的解决方案。### 2. 问题描述因为现在大多数的批量任务都是使用Spark去执行,所以Spark的地位在公司是举足轻重,那么对于Spark的深入理解和优化显得尤为重...
点击上方👆蓝字关注我们! 伴随着移动互联网、5G、AI、IoT 的飞速发展,企业数据建设正处于更大规模和更多样的变化趋势中。传统自建数据仓库,在企业数据体量持续增长、业务时效性持续提升的... (https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/47d87f5f04174a32bbcd521897df36cd~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714839664&x-signature=celdK%2FpItytO6mOnnMkeVm...
来阐述下数据驱动业务增长的一些思考与建设。 咱们先看整体框架,我们给这个框架定位为“**3+2**”数据模式 ![WechatIMG329.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/99d2a9ad5042450da3dfe2c90bfc6460~tplv-k3u1fbpfcp-5.jpeg?) **3** :数据内容为核心,数据应用为价值,数据治理为保障 **2** :数据平台为基础,数据运营为引导 ## 数据内容 数据内容为什么是核心,因为...