数据仓库工程师笔试
社区干货
ByConity 替换 ClickHouse 构建 OLAP 数据平台,资源成本大幅降低
ByConity 是字节跳动开源的云原生数据仓库,在满足数仓用户对资源弹性扩缩容,读写分离,资源隔离,数据强一致性等多种需求的同时,提供优异的查询,写入性能。文章来源|ByConity 开源社区GitHub |https://github.com/ByConity/ByConity作者|程伟,MetaAPP 大数据研发工程师 MetaApp 是国内领先的游戏开发与运营商,专注移动端信息高效分发,致力于构建面向全年龄段的虚拟世界。截至 2023 年,MetaAp...
1024程序员节献礼,火山引擎ByteHouse带来三重产品福利
数据仓库发展历程也很悠久。云计算等技术出现以及海量数据应用场景等愈加广泛,对数据仓库也提出全新要求,高性能、实时性、云原生等成为数据仓库发展关键词,也因此演变出不同的数仓发展路径。火山引擎ByteHouse是... 来自游戏企业的研发工程师这样介绍到,“在实时数据查询的场景中,ByteHouse集群管理、监控告警等能力,可以大大降低运维成本,避免掉运维中一些琐碎事项,让我们能集中精力处理更重要的工作。”面对企业级数据处理需...
「火山引擎」数智平台 VeDI 数据中台产品双月刊 VOL.06
火山引擎数据中台产品双月刊涵盖「大数据研发治理套件 DataLeap」「云原生数据仓库 ByteHouse」「湖仓一体分析服务 LAS」「云原生开源大数据平台 E-MapReduce」四款数据中台产品的功能迭代、重点功能介绍、平台最新... 火山引擎 EMR 研发工程师琚克俭解读了火山引擎 EMR 的产品定位,详细介绍了火山引擎EMR OLAP 云原生能力和引擎能力的最新情况和后续规划,并分享了在客户场景中的最佳实践。**【活动回放】(非微信域内链接)** **ht...
ByConity 替换 ClickHouse 构建 OLAP 数据平台,资源成本大幅降低
作者|程伟,MetaAPP 大数据研发工程师【项目地址】GitHub |https://github.com/ByConity/ByConity> ByConity 是字节跳动开源的云原生数据仓库,在满足数仓用户对资源弹性扩缩容,读写分离,资源隔离,数据强一致性等多种需求的同时,并提供优异的查询,写入性能。MetaApp 是国内领先的游戏开发与运营商,专注移动端信息高效分发,致力于构建面向全年龄段的虚拟世界。截至 2023 年,MetaApp 注册用户已超 2 亿,联运合作 20 万款游...
特惠活动
数据仓库工程师笔试-优选内容
数据仓库工程师笔试-相关内容
「火山引擎数据中台产品双月刊」 VOL.06
火山引擎数据中台产品双月刊涵盖「大数据研发治理套件 DataLeap」「云原生数据仓库 ByteHouse」「湖仓一体分析服务 LAS」「云原生开源大数据平台 E-MapReduce」四款数据中台产品的功能迭代、重点功能介绍、平台最新... 删除以及增量数据处理;可助力构建高效的企业级数据湖,目前已经在国内外多个大型公司生产落地。本期内容由嘉宾 火山引擎数据平台研发工程师 喻兆靖 分享 《高性能实时入湖在字节内部场景的实践》。**【活动回放】...
ApacheCon - 云原生大数据上的 Apache 项目实践
**专题:数据湖与数据仓库** * #### **基于 Flink 构建实时数据湖的实践** **王正** **火山引擎** **云原生** **计算研发工程师** **闵中元** **火山引擎** **云原生** **计算研发工程师** **演讲简介:** 实时数据湖是现代数据架构的核心组成部分,它允许企业实时分析和查询大量数据。在这场分享中,我们将首先介绍实时数据湖目前存在的痛点,比如数据的高时效性,多样性,一致性和准确性等。...
活动预告|火山引擎 VeDI 数据中台架构剖析与方案分享
数据湖的出现是为了解决传统数据仓库和数据集市所面临的问题:避免原始数据丢失从而选择了保存原始数据本身,并且对建设的数据集市与数据存储的元数据有一致性。随着云上对象存储的普及,Hudi、Iceberg 等数据湖格式的... * 数据湖架构演进* 火山云数据湖发展历程与理念* 火山云原生数据湖解决方案与创新点**《湖仓一体架构在LAS服务的探索与实践》*** 火山引擎 LAS 资深研发工程师 陈亚雷随着业务数据规模和计算场景的复...
ApacheCon - 云原生大数据上的 Apache 项目实践
数据仓库#### 基于 Flink 构建实时数据湖的实践**王正** **火山引擎** **云原生** **计算研发工程师****闵中元** **火山引擎** **云原生** **计算研发工程师****演讲简介:** 实时数据湖是现代数据架构的核心组成部分,它允许企业实时分析和查询大量数据。在这场分享中,我们将首先介绍实时数据湖目前存在的痛点,比如数据的高时效性,多样性,一致性和准确性等。然后介绍我们如何基于 Flink 和 Iceberg 构建实时数据湖,主要通...
「火山引擎」数据中台产品双月刊 VOL.05
火山引擎数据中台产品双月刊涵盖「大数据研发治理套件 DataLeap」「云原生数据仓库 ByteHouse」「湖仓一体分析服务 LAS」「云原生开源大数据平台 E-MapReduce」四款数据中台产品的功能迭代、重点功能介绍、平台最新... 可助力构建高效的企业级数据湖,目前已经在国内外多个大型公司生产落地。本期第一位嘉宾 徐昱 I vivo 计算平台中心 分享《数据湖化的新思考》,第二位嘉宾 管梓越 I 字节跳动推荐架构工程师 为大家讲解《基于数据湖...
「火山引擎」数智平台 VeDI 数据中台产品双月刊 VOL.07
火山引擎数据中台产品双月刊涵盖「大数据研发治理套件 DataLeap」「云原生数据仓库 ByteHouse」「湖仓一体分析服务 LAS」「云原生开源大数据平台 E-MapReduce」四款数据中台产品的功能迭代、重点功能介绍、平台最新... ** **火山引擎** **资深数仓研发工程师肖继哲解读** **懂车帝** **通过DataLeap指标服务统一构建汽车行业全方位的指标应用场景,从而建立指标体系构建规范,明确指标口径定义。了解指标建设如何在数仓模型及开发工作...
「火山引擎数据中台产品双月刊」 VOL.07
火山引擎数据中台产品双月刊涵盖「大数据研发治理套件 DataLeap」「云原生数据仓库 ByteHouse」「湖仓一体分析服务 LAS」「云原生开源大数据平台 E-MapReduce」四款数据中台产品的功能迭代、重点功能介绍、平台最新... ** **火山引擎** **资深数仓研发工程师肖继哲解读** **懂车帝** **通过DataLeap指标服务统一构建汽车行业全方位的指标应用场景,从而建立指标体系构建规范,明确指标口径定义。了解指标建设如何在数仓模型及开发工作...
2022技术盘点之平台云原生架构演进之道|社区征文
此阶段允许工程师解决大多数安全漏洞和缺陷。- 第三阶段:安全风险通知及可视化,针对工具检测出来的安全风险问题进行周期性通知及可视化,让全员知道安全问题,数字可视化安全问题,进行安全指标监控。- 第四阶段:补... 并保存到集群数据仓库;4. 在集群范围内传播 Service 配置;5. 集群 DNS 服务得知该 Service 的创建,据此创建必要的 DNS A 记录。总体来说,Kubernetes的服务注册与发现总结主要通过Etcd+CordDNS来实现,其中又包含...
火山引擎——大数据智能平台的构建策略与步骤|社区征文
就可以基于这个系统来观察数据,可以由建模人员利用其专业知识进行基于机器学习方法理论的建模,在得到一个合适的模型之后,需要把此模型放置到大数据系统中进行运行。一般来说,这个大数据系统需要有大数据工程师一起... 经过特征工程后的数据是可以作为模型的输入进行建模了,为了保证在生产环境中的模型运行效率,需要确定数据的存取模型,还需要进行宽表、数据仓库的设计和构造,否则会导致资源的浪费。● 模型架构的确定。采用流失处...
