大数据hadoop云计算
社区干货
大象在云端起舞:后 Hadoop 时代的字节跳动云原生计算平台
火山引擎云原生计算团队技术负责人李亚坤接受 InfoQ 专访,详细介绍了过去五年字节跳动在高速发展中历炼出的技术体系与团队,以及当下大数据云原生化的趋势。- 采访嘉宾 | 李亚坤- 编辑 | Tina* * *技术永远是在“更新”或“替换”中得到发展。在大数据行业里,2006年 Hadoop 的诞生,给我们带来了变革意义的改变,大数据生态组件也开始层出不穷。各种不同体型的企业都喜欢选择开源大数据软件来搭建自己的系统,无论是先...
后 Hadoop 时代,字节跳动如何打造云原生计算平台
2006 年 Hadoop 的诞生,给我们带来了变革意义的改变,大数据生态组件也开始层出不穷。各种不同体型的企业都喜欢选择开源大数据软件来搭建自己的系统,无论是先前十分繁荣的 Hadoop,还是后来涌现出来的 Kafka、Flink 等,都被广泛地使用着。十多年来,这些系统经历了多轮技术洗礼,我们也随之需要根据新的技术潮流不断地调整甚至做技术转型。以 Hadoop 三大组件来说,计算引擎 MapReduce 基本被 Spark 取代。在数据上云的时代,对象存...
大象在云端起舞:后 Hadoop 时代的字节跳动云原生计算平台
火山引擎云原生计算团队技术负责人李亚坤接受专访,阐述了字节跳动如何应对大数据技术的不断革新,同时让产品的性能更加出色。采访嘉宾 | 李亚坤-火山引擎云原生计算技术负责人编辑 | Tina-InfoQ 资深编辑技术永远是在“更新”或“替换”中得到发展。在大数据行业里,2006年 Hadoop 的诞生,给我们带来了变革意义的改变,大数据生态组件也开始层出不穷。各种不同体型的企业都喜欢选择开源大数据软件来搭建自己的...
演讲预告|字节跳动 Hadoop 云原生化演进实践
Hadoop 开源生态技术峰会,第四届 China Apache Hadoop Meetup 将于 2022年9月24日在上海举办。本届峰会以 **“云数智聚 砥柱笃行”** 为主题,汇聚 35+ 行业大咖,主席团由戴金权、堵俊平、金耀辉组成。**字节跳动云原生计算技术负责人李亚坤受邀担任会议委员,** 与一众行业大咖共同聚焦开源与云原生最新趋势与洞见。 ![]()# 议题推荐本届峰会主论坛聚焦开源、商业、产业最新趋势与洞见,5大主题论坛围绕大数据架构、企业应用...
特惠活动
大数据hadoop云计算-优选内容
大数据hadoop云计算-相关内容
三分钟了解大数据技术发展史|社区征文
我们常说的大数据技术,大致主要起源于 Google 在 2004 年前后发表的三篇论文,其实数据处理早就存在,每个公司或者个人都有自己的大数据处理系统,并没有形成编程框架和理念,而这三篇论文也就是我们熟知的大数据三驾马车,分别是分布式文件系统 GFS、大数据分布式计算框架 MapReduce 和 NoSQL 数据库 BigTable,这三篇论文影响了当今大数据生态,可以称得上大数据的基石,Doug cutting 大佬在基于谷歌的三篇论文开发出了 hadoop hdfs 分...
火山引擎云原生大数据在金融行业的实践
大数据架构向云原生演进是行业的重要趋势,火山引擎协助关键金融客户在大数据云原生方向进行了深度实践,形成了整体解决方案,本文将分享火山引擎云原生大数据在金融行业的实践。作者|张云尧-火山引擎云原生计算研发工程师# **▌金融行业大数据需求**## **云原生相比** **Hadoop** **的优势**传统大数据集群通常基于 Hadoop 系统构建,传统大数据作业通常是以裸进程的形式运行在节点上,很容易受到节点上的其他进程或其他因...
9年演进史:字节跳动 10EB 级大数据存储实战
# 背景## **HDFS** **简介**HDFS 全名 Hadoop Distributed File System,是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项:- 和本地文件系统一样的目录树视图 - Append Only 的写入(不支持随机写) - 顺序和随机读 - 超大数据规模 - 易扩展,容错率高## HDFS 在字节跳动的发展字节跳动已经应用 HDFS 非常长的时间了。经历了 9 年的发展,目前已直接支持了十...
火山引擎云原生大数据在金融行业的实践
大数据架构向云原生演进是行业的重要趋势,火山引擎协助关键金融客户在大数据云原生方向进行了深度实践,形成了整体解决方案,本文将分享火山引擎云原生大数据在金融行业的实践。作者|张云尧 - 火山引擎云原生计算研发工程师**01****金融行业大数据需求****云原生相比 Hadoop 的优势**传统大数据集群通常基于 Hadoop 系统构建,传统大数据作业通常是以裸进程的...
我的大数据学习总结 |社区征文
Python以及Scala这几种在大数据开发中常用的编程语言。然后着重学习Hadoop核心技术如HDFS和MapReduce;接触数据库Hive后,学习数据流技术Kafka和分布式协调服务Zookeeper。深入研究Yarn和求执行引擎Spark。此外还了解其他技术如HBase、Sqoop等。同时学习计算机网络知识和操作系统原理。后面再系统学习关系数据库MySQL和数据仓库理论。学习分布式原理和架构也很重要。这个学习顺序参考了我之前的工作和学习经历情况后订定。需要注意...
演讲预告|云原生大数据系列实践分享
**李亚坤** **火山引擎云原生计算技术负责人**个人介绍:硕士毕业于哈工大计算机专业,10 年大数据和云原生领域从业经验。2017 年加入字节跳动,构建了字节跳动千万级核心的集群资源管理和调度系统,支撑了全公司的数据平台、搜索、广告、推荐算法等中台,以及抖音、今日头条、西瓜视频、懂车帝、飞书等众多业务的大数据分析需求,带领团队完成了在离线资源混部、Hadoop 上云等众多项目。目前整体负责火山引擎云原生计算的技术团队。...
迁移 Hadoop 文件系统数据至 CloudFS
本文选择基于火山引擎 ECS 搭建 Hadoop 集群(以下称"迁移集群"),用于访问大数据文件存储 CloudFS 和迁移数据,并满足以下条件:迁移集群与大数据文件存储 CloudFS 实例在相同区域、相同可用区。 迁移集群与大数据文件存储 CloudFS 的挂载点使用相同火山引擎 VPC 网络和交换机。 迁移集群上安装的 JDK 版本不低于1.8。 迁移集群上安装的 Hadoop 版本不低于2.6.0。 说明 如果原集群满足上述条件且计算资源充足,可以直接将原集群当作...
演讲预告|云原生大数据系列实践分享
**云原生** **计算技术负责人**个人介绍:硕士毕业于哈工大计算机专业,10 年大数据和云原生领域从业经验。2017 年加入字节跳动,构建了字节跳动千万级核心的集群资源管理和调度系统,支撑了全公司的数据平台、搜索、广告、推荐算法等中台,以及抖音、今日头条、西瓜视频、懂车帝、飞书等众多业务的大数据分析需求,带领团队完成了在离线资源混部、Hadoop 上云等众多项目。目前整体负责火山引擎云原生计算的技术团队。 ...
干货|揭秘字节跳动对Apache Doris 数据湖联邦分析的升级和优化
>火山引擎 EMR 作为一款云原生开源大数据平台产品,集成了包括 Hadoop、Spark、Flink 等引擎,并做到100%开源兼容。Doris 作为 OLAP 领域中一款极具代表性的开源组件,也被集成到了火山引擎 EMR 产品生态中。 > 本文... 第一个阶段是数据仓库,第二个阶段是数据湖,第三个阶段是湖仓一体。## 数据仓库阶段数据仓库是在上个世纪80年代兴起的一项技术。随着企业业务发展和大规模计算技术的发展,越来越多的企业使用数据仓库来处理企业...
