字节跳动零信任
社区干货
火山引擎 DataLeap:揭秘字节跳动业务背后的分布式数据治理思路
字节的挑战与实践 首先来看一个问题:“一家公司,数据体系要怎么搭建?”* 方案一: **整体规划,系统架构驱动*** 方案二: **问题出发,业务价值驱动**在字节跳动,我们选择的是方案二,即从业务遇到的问题出发,重视落地结果与业务过程,去解决实际的治理问题。基于这个理念,在数据治理过程中,字节跳动也面临以下三个挑战与机遇:**业务特点:业务发展快、场景丰富、数据量大且形态各异**。业务的线上...
干货 | 字节跳动构建Data Catalog数据目录系统的实践(上)
进一步的理解和信任数据。另外,Data Catalog系统中的各类元数据,也会向上服务于数据开发、数据治理两大类产品体系。在大数据领域,各类计算和存储系统百花齐放,概念和原理又千差万别,对于元数据的采集、组织、理解、信任等,都带来了很大挑战。因此,做好一个Data Catalog产品,本身是一个门槛低、上限高的工作,需要有一个持续打磨提升的过程。**03 -****旧版本痛点**字节跳动Data Catalog产品早期为了能较快解...
第一现场|字节跳动开源BitSail:重构数据集成引擎,走向云原生化、实时化
自年初成立开源委员会以来,字节跳动开源动作频频。公开信息显示,字节跳动近五个月新开源了不少项目,包括 Shuffle 框架 Cloud Shuffle Service、基于 Rust 的 RPC 框架 Volo 等。 10 月 26 日,字节宣布开源自研数据集成引擎 BitSail,采用 Apache 2.0 开源许可。据悉,BitSail 支持多种异构数据源间的数据同步,并提供离线、实时、全量、增量场景下的全域数据集成解决方案,目前服务于字节内部几乎所...
数据库顶会 VLDB 2023 论文解读:字节跳动如何解决超大规模流式任务运维难题
字节跳动基础架构-计算-流式计算团队联合发表在国际数据库与数据管理顶级会议 VLDB 2023 上的论文“StreamOps: Cloud-Native Runtime Management for Streaming Services in ByteDance”,介绍字节跳动内部基于数万... RocksDB DB 合并与裁剪加速等机制可以实现接近零停机的快速恢复。 **慢节点自动迁移**
特惠活动
字节跳动零信任-优选内容
字节跳动零信任-相关内容
演讲预告 | 字节跳动云原生大数据的探索与实践
全球数字经济进入高速发展期,已经成为推进经济发展的新增长极。云原生技术作为下一代云计算的技术内核,在加快推进各产业数字化转型中发挥着重要作用,云原生大数据技术产品也逐步迭代升级,开始引领产业变革的浪潮。近期,诸多行业大会围绕大数据容器化相关话题展开讨论。字节跳动云原生计算团队也将在以下大会中进行演讲直播,欢迎关注。开源是软件世界的根基,字节跳动看重参与开源的长期价值,对于开源的态度一直是开放、鼓励的,愿与全球合作伙伴共同实现生态繁荣。本文由字节跳动开源委员会治理运营负责人,火...
数据库顶会 VLDB 2023 论文解读:字节跳动如何解决超大规模流式任务运维难题
本文解读了新加坡国立大学马天白教授团队、字节跳动基础架构-计算-流式计算团队联合发表在国际数据库与数据管理顶级会议 VLDB 2023 上的论文“StreamOps: Cloud-Native Runtime Management for Streaming Services... RocksDB DB 合并与裁剪加速等机制可以实现接近零停机的快速恢复。 ### 慢节点自动迁移 **字节微服务框架的挑战和演进** 2014 年以来,字节跳动内部业务的快速发展,推动了长连接推送服务,它们面临...
内容集锦 | 在字节跳动,数据技术这么干!(内含赠书福利)
**—— 文末参与限时抽奖,获取赠书福利 ——** 在数字化时代,企业内部越来越展现出对海量数据存储、治理、运维、评估、决策需求。数据中台的出现可以更大程度发挥数据价值,打破企业内部数据孤岛,更好、更快服务于企业内部决策与业务增长。 字节跳动数据平台,承担了字节内部数据驱动的重要工作,服务了抖音、西瓜视频等多条业务线。同时,字节跳动数据平台也将多年的技术实践所得到的经验与能力通过...
