电容上的背景模式无法正常工作。
社区干货
2022技术盘点之平台云原生架构演进之道|社区征文
苍山负雪,烛名天南,2022注定是不平凡的一年,岁末全国开发,在发表改文章时,正式自己🐑第二天,一切的恐惧源于无知,发烧39度一粒布洛芬就解决了,解决恐惧最好的方式就是直面恐惧,凡是过往,皆为终章,愿2023我们能拨雪寻春,烧灯续昼,和光同尘,与时舒卷。## 一 前言### 1.1 背景自2020年至今,众多传统行业都受到疫情的冲击,据IDC相关报告,疫情期间,终端消费者需求的多样性、易变性对企业传统IT架构以及经营运营模式发起了挑战,使...
大规模混合部署项目在字节跳动的落地实践
在弹性伸缩的基础上又如何推动大规模混部的落地?本文将进行详细介绍。 来源|字节跳动技术团队 背景介绍 字节内部的私有云平台叫做 TCE,它底层使用 K8s 作... 我们可以采取的方式就是在合理范围内尽可能地把图中的绿线往下拉,具体的做法就是根据服务在过去一周中峰值利用率的最大值,动态调整服务的资源申请量,从而回收和再利用一定的冗余资源。当然我们会在峰值利用率的基...
干货| 火山引擎DataLeap的Data Catalog系统公有云实践
**背景*** Data Catalog是一种元数据管理的服务,会收集技术元数据,并在其基础上提供更丰富的业务上下文与语义,通常支持元数据编目、查找、详情浏览等功能。目前Data Catalog作为火山引擎大数据研发治理套件DataLeap产品的核心功能之一,经过多年打磨,服务于字节跳动内部几乎所有核心业务线,解决了数据生产者和消费者对于元数据和资产管理的各项核心需求。* DataLeap作为一站式数据中台套件,汇集了字节内部多年积累的数据...
干货 |揭秘字节跳动基于 Doris 的实时数仓探索
目前已经支持三大数据组织模式,也支持数据存放在 HDFS、S3 和 TOS 上,数据格式也支持最常见的 Parquet、ORC、TEXT等。**基于这些能力,我们在性能上也做了持续的优化。** 例如,我们做了 table scan 里面最常见的几... 实际上在计算的时候,只需要用到 BE 节点,但 FE 这三个节点又必须部署,不部署就无法正常工作。如果部署在 BE 中,又会受到隔离性的挑战。我们很多用户也有这种方面需求,希望能把 FE 节点和 Master 节点混部在一起。H...
特惠活动
电容上的背景模式无法正常工作。
-优选内容
电容上的背景模式无法正常工作。
-相关内容
干货 |揭秘字节跳动基于 Doris 的实时数仓探索
目前已经支持三大数据组织模式,也支持数据存放在 HDFS、S3 和 TOS 上,数据格式也支持最常见的 Parquet、ORC、TEXT等。**基于这些能力,我们在性能上也做了持续的优化。**例如,我们做了 table scan 里面最常见... 实际上在计算的时候,只需要用到 BE 节点,但 FE 这三个节点又必须部署,不部署就无法正常工作。如果部署在 BE 中,又会受到隔离性的挑战。我们很多用户也有这种方面需求,希望能把 FE 节点和 Master 节点混部在一起。H...
替换 Spring Cloud,使用基于 Cloud Native 的服务治理
我们通过时间线展开整个项目背景:* 在我刚开始工作的时候(2010 年以前),可能还没有云原生社区,当时 Java 体系是企业级开发的首选。* 2010 年, Netflix 推出了 **Move to Cloud** 计划,将绝大部分的服务迁到了 ... 这些是 Spring Cloud 不能管辖到的。在当时,一些新兴客户会面临一个问题:对于基于 Java 的业务应用,开发的时候选择哪种模式更好?对于这个问题,现在我们更推荐使用 Kubernetes,因为 Kubernetes 是一个语言无关...
替换 Spring Cloud,使用基于 Cloud Native 的服务治理
## 关于 Spring Cloud 技术体系我们通过时间线展开整个项目背景:- 在我刚开始工作的时候(2010 年以前),可能还没有云原生社区,当时 Java 体系是企业级开发的首选。- 2010 年, Netflix 推出了 Move to Clo... 这些是 Spring Cloud 不能管辖到的。在当时,一些新兴客户会面临一个问题:对于基于 Java 的业务应用,开发的时候选择哪种模式更好?对于这个问题,现在我们更推荐使用 Kubernetes,因为 Kubernetes 是一个语言无关的...
揭秘字节跳动基于 Doris 的实时数仓探索
目前已经支持三大数据组织模式,也支持数据存放在 HDFS、S3 和 TOS 上,数据格式也支持最常见的 Parquet、ORC、TEXT等。**基于这些能力,我们在性能上也做了持续的优化。** 例如,我们做了 table scan 里面最常见的几... 实际上在计算的时候,只需要用到 BE 节点,但 FE 这三个节点又必须部署,不部署就无法正常工作。如果部署在 BE 中,又会受到隔离性的挑战。我们很多用户也有这种方面需求,希望能把 FE 节点和 Master 节点混部在一起。H...
火山引擎上云迁移指南(一):上云迁移背景与流程
专注于存储&数据库产品的解决方案规划、设计和拓展工作。 > **贾伟力**,火山引擎存储&数据库解决方案架构师,专注于存储&数据库产品的解决方案规划、设计和拓展工作。> **火山引擎存储&数据库解决方案团队**,由资深的存储&数据库解决方案架构师组成。团队致力于帮助企业与组织更好的使用火山引擎云存储与云数据库产品,针对实际业务场景设计最优的解决方案,用专业技术助力组织和企业实现业务成功。## 上云迁移背景### 什么...
实战:超低延时直播技术的落地实践
优化传统行业商业模式,如直播带货、新媒体广告传媒转型等。>> >>> 丰富的传统文化、新闻、竞技体育、法律、知识共享等内容,通过移动端互动直播的形式得以更加高效的展现传播,既让优质的直播内容可以实现爆发... 视频直播已经成为了一种越来越普遍的娱乐和社交方式。无论是个人还是企业,都可以通过视频直播平台进行直播活动,向观众展示自己的生活、工作或者产品。同时,视频直播也成为了一种新型的社交媒体,让人们可以在虚拟空...
干货 | 字节跳动构建Data Catalog数据目录系统的实践(上)
背景 **01 -****元数据与Data Catalog**元数据,一般指描述数据的数据,对数据及信息资源的描述性信息。在当前大数据的上下文里,通常又可细分为技术元数据和业务元数据。Data Catal... 字节跳动Data Catalog产品早期为了能较快解决Hive的元数据收集与检索工作,是基于LinkedIn Wherehows进行二次改造 。Wherehows架构相对简单,采用Backend + ETL的模式。初期版本,主要利用Wherehows的存储设计和ETL框...
字节跳动基于 Parquet 格式的降本增效实践 | CommunityOverCode Asia 2023
文章介绍了字节跳动基于 Parquet 格式降本增效的技术原理和在具体业务中的实践,首先介绍了 Parquet 格式在字节跳动的应用,然后结合 2 个具体的应用场景:小文件合并和列级 TTL ,从问题产生的背景和解决问题的技术方... 并且往往还涉及到繁琐的调参工作,影响工作效率。为此我们提出了一套自动化、声明式的小文件合并方案。用户只需要通过参数开启小文件合并,并设置目标文件大小,就能让作业自动输出合适的文件大小。这种方式除了简...
《k8s 云原生业务的容器故障排查与思考|社区征文》
此前我们部门已经完成了业务上云的目标,而随着业务请求量的激增,上云应用系统也面临着一些复杂的故障和挑战。下文我就结合最近的容器排障工作,跟大家一起探讨如何优化系统的性能、扩展性和容错能力,为读者提供参... ** 云上的 kube-proxy 采用了 ipvs 代理模式最终实现将流量导向到某一个后端 Pod(即 APP3-pod)。- 流量导向完成后,请求最终会进入 pod 的一个实例(即 APP3-容器)#### 3.4.3 分析1. 上面在 3.3.3 步骤 也分...
