基于hadoop的深度学习
社区干货
演讲预告|字节跳动 Hadoop 云原生化演进实践
Hadoop 是 Apache 基金会旗下知名基础架构开源项目。作为国内少见的 Hadoop 开源生态技术峰会,第四届 China Apache Hadoop Meetup 将于 2022年9月24日在上海举办。本届峰会以 **“云数智聚 砥柱笃行”**为主题,汇... **Hadoop** **议题推荐**本届峰会主论坛聚焦开源、商业、产业最新趋势与洞见,5大主题论坛围绕大数据架构、企业应用、云原生架构、机器学习、AI 数据开放展开深入探讨。字节跳动基础...
演讲预告|字节跳动 Hadoop 云原生化演进实践
Hadoop 是 Apache 基金会旗下知名基础架构开源项目。作为国内少见的 Hadoop 开源生态技术峰会,第四届 China Apache Hadoop Meetup 将于 2022年9月24日在上海举办。本届峰会以 **“云数智聚 砥柱笃行”** 为主题,汇聚 35+ 行业大咖,主席团由戴金权、堵俊平、金耀辉组成。**字节跳动云原生计算技术负责人李亚坤受邀担任会议委员,** 与一众行业大咖共同聚焦开源与云原生最新趋势与洞见。 ![]()# 议题推荐本届峰会主论坛聚焦开...
字节跳动10万节点HDFS集群多机房架构演进之路
Hadoop 项目的一个模块,作为大数据存储的基石提供高吞吐的海量数据存储能力。自从 2006 年 4 月份发布以来,HDFS 目前依然有着非常广泛的应用,以字节跳动为例,随着公司业务的高速发展,目前 HDFS 服务的规模已经到达“双 10”的级别:* 单集群节点 10 万台级别* 单集群数据量达到 10 EB 级别 **主要使用场景包括*** 离线+ OLAP 查询引擎存储底座,包括 Hive/ClickHouse/Presto 等场景+ 机器学习离线训练数据...
浅谈大数据建模的主要技术:维度建模 | 社区征文
## 前言我们不管是基于 Hadoop 的数据仓库(如 Hive ),还是基于传统 MPP 架构的数据仓库(如Teradata ),抑或是基于传统 Oracle 、MySQL 、MS SQL Server 关系型数据库的数据仓库,其实都面临如下问题:- 怎么组织数... 数据仓库的能力直接与维度属性的质量和深度成正比 。- 在提供详细的业务用语属性方面所花的时间越多,数据仓库就越好;- 在属性列值的给定方面所花的时间越多,数据仓库就越好;- 在保证属性列值的质量方面所花的时...
特惠活动
基于hadoop的深度学习-优选内容
基于hadoop的深度学习-相关内容
大象在云端起舞:后 Hadoop 时代的字节跳动云原生计算平台
2006年 Hadoop 的诞生,给我们带来了变革意义的改变,大数据生态组件也开始层出不穷。各种不同体型的企业都喜欢选择开源大数据软件来搭建自己的系统,无论是先前十分繁荣的 Hadoop,还是后来涌现出来的 Kafka、Flink 等... 存储层是基于 HDFS 进行深度定制的 CloudFS + Iceberg,中间件包括 Kafka 和字节自研的 BMQ,计算引擎使用的是 Spark / Flink,还包括资源调度和混部,以及 HSAP 和外围服务。这套系统能管控达到几十万台机器,行业内达...
从100w核到450w核:字节跳动超大规模云原生离线训练实践
离线训练 Zion 框架是基于 Hadoop Streaming 架构在深度学习场景下的深度定制,每个训练作业对应一个 Hadoop YARN 上的 Zion 任务,具有(PS-Worker)架构分布式训练器、多数据格式多数据源混合训练、HDFS 样本读取、训练训练进度 Checkpoint 功能。(PS-Worker)架构分布式训练器基于 Google 的 Tensorflow 框架深度定制,主要采用 Worker-PS 架构进行训练。此架构分为 PS 端与 Worker 端两个部分——其中 PS(ParameterServer) 是...
火山引擎云原生大数据在金融行业的实践
大数据架构向云原生演进是行业的重要趋势,火山引擎协助关键金融客户在大数据云原生方向进行了深度实践,形成了整体解决方案,本文将分享火山引擎云原生大数据在金融行业的实践。作者|张云尧 - 火山引擎云原生计算研发工程师**01****金融行业大数据需求****云原生相比 Hadoop 的优势**传统大数据集群通常基于 Hadoop 系统构建,传统大数据作业通常是以裸进程的...
数据中台的学习与总结 主赛道 | 社区征文
Hadoop 等分布式计算框架,对海量数据进行实时或离线的分析处理,提取用户画像、商品特征、评价情感等有价值的信息,并进行可视化展示。- 数据建模:通过 TensorFlow、PyTorch 等深度学习框架,构建基于卷积神经网络(CNN)、循环神经网络(RNN)、长长短期记忆网络(LSTM)等模型,实现对用户行为和商品属性之间关系的建模,并进行训练和测试。- 数据服务:通过 Kafka、Flume 等消息队列系统,将推荐结果以及其他相关信息以实时或批量形式...
大模型和深度学习的工作总结|社区征文
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/44b74ab4861f41bb8b8defb68ffb7e98~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714753242&x-signature=FYjNLKAaHPdwatqy%2F75Fna3wPu8%3D)**前言**在 2023 年疫情早已结束的当下,时代也在飞速的发展和进步,越来越多的技术:深度学习、AI、大模型、虚拟现实VR等慢慢进入我们的生活。**基于大模型的图像去雾**在今年这个阶段...
大象在云端起舞:后 Hadoop 时代的字节跳动云原生计算平台
2006年 Hadoop 的诞生,给我们带来了变革意义的改变,大数据生态组件也开始层出不穷。各种不同体型的企业都喜欢选择开源大数据软件来搭建自己的系统,无论是先前十分繁荣的 Hadoop,还是后来涌现出来的 Kafka、Flink 等... 支撑这些服务的,是字节跳动打磨的一套云原生大数据技术栈,涵盖了从数据接入、数据存储、数据计算到数据服务的所有环节。其中,存储层是基于 HDFS 进行深度定制的 CloudFS + Iceberg,中间件包括 Kafka 和字节自研的 ...
后 Hadoop 时代,字节跳动如何打造云原生计算平台
2006 年 Hadoop 的诞生,给我们带来了变革意义的改变,大数据生态组件也开始层出不穷。各种不同体型的企业都喜欢选择开源大数据软件来搭建自己的系统,无论是先前十分繁荣的 Hadoop,还是后来涌现出来的 Kafka、Flink ... **存储层是基于 HDFS 进行深度定制的 CloudFS + Iceberg,中间件包括 Kafka 和字节自研的 BMQ,计算引擎使用的是 Spark / Flink,还包括资源调度和混部,以及 HSAP 和外围服务** 。这套系统能管控达到几十万台机器,行...
边缘计算技术:深度学习与人工智能的融合|社区征文
**边缘ML:** 是指机器学习在不处于核心数据中心的,企业级计算机/设备中的应用。边缘设备包括服务器机房,现场服务器,以及位于各个地区以加快响应速度为目的的小型数据中心。云端和边缘端的ML 已经通过3年多的科普,广为大众所接受。今天我们看到的人脸门禁、摄像头行为识别、智能音箱...... 绝大部分场景都属于这两类。 以 TensorFlow & TF lite 等开源深度学习框架为基础的大量应用,推动了智能在云端和边缘端应用。然而,更加具有...
火山引擎云原生大数据在金融行业的实践
大数据架构向云原生演进是行业的重要趋势,火山引擎协助关键金融客户在大数据云原生方向进行了深度实践,形成了整体解决方案,本文将分享火山引擎云原生大数据在金融行业的实践。作者|张云尧-火山引擎云原生计算研发工程师# **▌金融行业大数据需求**## **云原生相比** **Hadoop** **的优势**传统大数据集群通常基于 Hadoop 系统构建,传统大数据作业通常是以裸进程的形式运行在节点上,很容易受到节点上的其他进程或其他因...
