来自火山引擎云网络产品技术负责人林科,为大家分享字节跳动内部成功的技术探索与实践,全部分享内容如下:大家好,我是来自字节跳动基础架构团队的林科,目前在负责火山引擎云网络产品的相关研发工作。火山引擎是字节跳动旗下的云服务平台, 将字节跳动快速发展过程中积累的增长方法、技术能力和工具开放给外部企业,帮助企业在数字化升级中实现持续增长。作为云服务平台的基础,火山引擎云网络采用了全自研架构,具备了丰富的产品能力...
第四范式研发副总裁/基础技术负责人郑曌、经纬中国高级投资经理谢岩**围绕“数字化实践”等多个主题进行了经验分享。**随着互联网流量红利的日渐消退,部分企业正通过“数据驱动”挖掘更深层次的业务价值,进入精... 并基于自身发展实际情况做了大量二次开发和优势强化。同时**聚焦提升资源利用率、降低运维成本、提升数据实时性三大性能点,字节跳动数据平台通过火山引擎对外发布ByteHouse。**截止到8月的数据显示,ByteHou...
会收集技术元数据,并在其基础上提供更丰富的业务上下文与语义,通常支持元数据编目、查找、详情浏览等功能。目前Data Catalog作为火山引擎大数据研发治理套件DataLeap产品的核心功能之一,经过多年打磨,服务于字节跳... **Data Catalog公有云发展历程**=========================Data Catalog已经随着DataLeap一起作为公有云产品正式在火山引擎对外发布,下面是Data Catalog在功能演进上的一些重要时间节点:* 202...
上半年我沉浸在读各类技术书籍中,但是后半年的我几乎放弃了读书,转而投身到另外一个学习渠道上:>之前的年中和年终总结写的大体是参加了多少次活动,白嫖了多少礼品。但是这次我不想写平台的东西了(后半年的时间几... 于是一发不可收拾,**后半年的时间除了工作睡觉吃饭几乎都是泡在学习平台中**。先放出自己的成果吧:![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/7ef3470eb9f34efd8d394a2eb2e810e4~tplv-k...
技术资料等重要信息的广泛共享、交叉使用也成为了刚性业务需求,这对企业的数据安全防护能力提出了更高要求。 创立于1997年的金赛药业正以持续创新加快数字化发展,其研发数据和知识库已逐渐成为企业的核心资产。然而,随着办公协同方式的变化,传统的网络边界被打破,数据安全问题日益凸显,安全管理难度不断加大。火山引擎飞连 All in One 数字化办公方案的应用,使金赛药业得以满足员工权限管理需求,同时实现对敏感数据外发的高效管控...
第四范式研发副总裁/基础技术负责人郑曌、经纬中国高级投资经理谢岩**围绕“数字化实践”等多个主题进行了经验分享。**随着互联网流量红利的日渐消退,部分企业正通过“数据驱动”挖掘更深层次的业务价值,进入精... 并基于自身发展实际情况做了大量二次开发和优势强化。同时**聚焦提升资源利用率、降低运维成本、提升数据实时性三大性能点,字节跳动数据平台通过火山引擎对外发布ByteHouse。**截止到8月的数据显示,ByteHou...
会收集技术元数据,并在其基础上提供更丰富的业务上下文与语义,通常支持元数据编目、查找、详情浏览等功能。目前Data Catalog作为火山引擎大数据研发治理套件DataLeap产品的核心功能之一,经过多年打磨,服务于字节跳... **Data Catalog公有云发展历程**=========================Data Catalog已经随着DataLeap一起作为公有云产品正式在火山引擎对外发布,下面是Data Catalog在功能演进上的一些重要时间节点:* 202...
上半年我沉浸在读各类技术书籍中,但是后半年的我几乎放弃了读书,转而投身到另外一个学习渠道上:>之前的年中和年终总结写的大体是参加了多少次活动,白嫖了多少礼品。但是这次我不想写平台的东西了(后半年的时间几... 于是一发不可收拾,**后半年的时间除了工作睡觉吃饭几乎都是泡在学习平台中**。先放出自己的成果吧:![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/7ef3470eb9f34efd8d394a2eb2e810e4~tplv-k...
「智能发布」是一种结合功能开关+动态配置+灰度发布+配置管理的敏捷开发技术,基于先进的Feature Flag引擎和一站式配置托管能力,满足应用新功能灰度发版、A/B 实验到全量、人群定向发布等不同应用场景,帮助开发、产... DataTester「智能发布」有诸多用途,其技术本质是按用户指定的规则下发不同的功能参数,以达到敏捷发布的使用效果。除了最常见也是使用最普遍的“功能开关”外,还可以实现动态下发“应用配置”“业务配置”“环境配置...
无论对于内部员工还是外部访客,均可实现一人一账号的动态准入控制。管理员可基于员工的部门、角色及其设备的实时安全状态,设定可访问不同网络资源的多个权限组,再借由动态决策引擎实现自动化权限缩放,确保公司内网安全。 终端安全方面,飞连首先帮助提升入网设备可见性,实现高效资产管理,并在此基础上提供基线检查、病毒查杀等安全能力,重点关注如文件外发/下载、软件安装、锁屏与密码设置等敏感环节。基于多端合一的产品优势,终端...
如果一个 Flink 作业发生了延迟,找不到业务上的原因,但是观测到节点的 CPU 使用率比较高。用户通常选择杀掉节点上的其他作业,使机器负载下降,这时作业很有可能恢复了正常。但是,最终也没有定位到延迟的具体原因,一... * 可定制化的网络/存储能力:可以支持大数据作业使用复杂的容器化网络技术,以及云原生支持的任意存储系统;* 便捷的运维能力:可以轻松地进行节点上下线,集群扩缩容,降低基础设施运维成本。因此, **大数据**...
> 更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群# Data Catalog公有云遇到的挑战Data Catalog经历了一个从0到1在火山引擎公有云部署并逐步优化和迭代发布10+版本的过程... 但我们发现随着版本差异越来越大,代码和功能的合并和兼容就变得非常困难,在其中一次整体代码合并时,出现了好几千的文件diff和上百处merge conflict,我们花费了一周时间多的时间合并代码和进行多环境测试回归验证,最...
实时技术日趋成熟实时计算框架已经经历了三代发展,分别是:Storm、SparkStreaming、Flink,计算框架越来越成熟。一方面,实时任务的开发已经能通过编写 SQL 的方式来完成,在技术层面能很好地继承离线数仓的架构设计... 可对外输出丰富的数据服务。数仓具体架构如下图所示:![](https://cdn.jsdelivr.net/gh/sunmyuan/cdn/220116_1.jpeg)从数据架构图来看,顺风车实时数仓和对应的离线数仓有很多类似的地方。例如分层结构;比如 O...