基于云计算大数据分析
社区干货
浅析基于云-边-端协同AI算力资源智能调度能力
随着AI、云计算、边缘计算、大数据、物联网等技术的不断发展、数据的不断增加,基于云、边、端协同架构的部署需求也越来越多。TSINGSEE青犀视频的智能分析网关/云平台,不仅融合了AI智能识别技术,同时依托云、边、端协同的架构优势,由终端负责数据感知,边缘负责局部的数据分析,而云端则汇集所有边缘的感知数据、业务数据以及互联网数据,最终完成场景下的态势感知、分析结果输出、数据分发等服务。**1、AI智能识别**可支持人脸...
演讲预告 | 字节跳动云原生大数据的探索与实践
全球数字经济进入高速发展期,已经成为推进经济发展的新增长极。云原生技术作为下一代云计算的技术内核,在加快推进各产业数字化转型中发挥着重要作用,云原生大数据技术产品也逐步迭代升级,开始引领产业变革的浪潮。... []()### **基于 Zeppelin 的** **Flink** **/** **Spark** **云原生实践****陶克路|字节跳动基础架构研发工程师****王 正|字节跳动基础架构研发工程师****会议**:ApacheCon Asia 2022**演讲时间**:7月...
演讲预告 | 字节跳动云原生大数据的探索与实践
云原生大数据技术产品也逐步迭代升级,开始引领产业变革的浪潮。近期,诸多行业大会围绕大数据容器化相关话题展开讨论。字节跳动云原生计算团队也将在以下大会中进行演讲直播,欢迎关注。
特惠活动
基于云计算大数据分析-优选内容
基于云计算大数据分析-相关内容
演讲预告|云原生大数据系列实践分享
**云原生** **计算技术负责人**个人介绍:硕士毕业于哈工大计算机专业,10 年大数据和云原生领域从业经验。2017 年加入字节跳动,构建了字节跳动千万级核心的集群资源管理和调度系统,支撑了全公司的数据平台、搜索、广告、推荐算法等中台,以及抖音、今日头条、西瓜视频、懂车帝、飞书等众多业务的大数据分析需求,带领团队完成了在离线资源混部、Hadoop 上云等众多项目。目前整体负责火山引擎云原生计算的技术团队。 ...
云原生大数据 Meetup|云原生时代下的数据计算基础设施
**《** **基于云原生的 Flink 探索与落地》**陶克路|火山引擎云原生计算研发工程师随着云原生和 Kubernetes 基础设施的普及,大数据系统如何丝滑地云原生化已经成为不可逆的趋势。本分享主要讨论 Flink 云原生化的一些探索和实践。本次分享将从如下几个方面进行展开:- Flink on K8s 社区方案和痛点- 字节 Flink 在云原生化过程中的实践分享- 云原生一体化 Flink 数据湖实践分享**《** **Ray 在字节跳动的云原生...
工业大数据分析与应用——知识总结 | 社区征文
如数据挖掘、数据统计、基于大数据的业务分析与预测、基于大数据的决策、商业智能、人工智能、数据可视化等。 - 大数据应用服务 - 如数据运营、大数据交易、分析与预测服务、决策支持服务、数据分享平台、数据分析平台等。- 大数据IT基础设施:存储设备、运算设备、一体机、操作系统、基础软件、IT支撑等。#### 1.1.4 大数据的发展历程### 1.2 大数据的概念与特点* 概念:**大数据(Big data)**,指无法在一定时...
云原生大数据 Meetup|云原生时代下的数据计算基础设施
**基于云原生的 Flink 探索与落地****》**陶克路|火山引擎云原生计算研发工程师随着云原生和 Kubernetes 基础设施的普及,大数据系统如何丝滑地云原生化已经成为不可逆的趋势。本分享主要讨论 Flink ... Elasticsearch 项目是当下最流行的分布式搜索和分析引擎,ES 在字节跳动有大规模云原生应用,并且对内提供了非常弹性的服务能力。本次分享主要介绍:1. 字节在 ES 云原生架构下的演进2. ES 的内核增强3. E...
年终学习大礼包|云原生大数据知识地图
**云原生大数据**是大数据平台新一代架构和运行形态,是一种以平台云原生化部署、计算云原生调度、存储统一负载为特点,可以支持多种计算负载,计算调度更弹性,存储效能更高的大数据处理和分析平台。云原生大数据带来了大数据在使用和运维方面的巨大变化,从以下三个角度来看:- **业务层面**:传统模式下,业务独立占用资源,在业务高峰时段占用全部资源,但在低谷时段资源占用率可能只有20%-30%;**云原生模式下的**业务是混部的,比如...
观点 | 数据分析引擎百花齐放,为什么要大力投入ClickHouse?
随着云计算等技术发展以及海量数据应用场景等出现,对数据仓库提出全新要求,高性能、实时性、云原生等成为数据仓库发展关键词,也因此演变出不同的数仓发展路径。> > > > > **在字节跳动十年发展历程中,各类业务数据量膨胀,不断挑战数据能力边界,也让字节跳动在数据链路优化处理、提升分析效率、数据仓库选型、数据引擎架构搭建等层面积累丰富经验。**> > > > > 2022年,火山引擎云原生计算团队在云原生大数据领域进行了诸多探索与实践。基于此, **云原生** **计算与 DataFun 联合出品了** **云原生** **大数据** **知识地图**,从理念概述、架...
大象在云端起舞:后 Hadoop 时代的字节跳动云原生计算平台
支撑这些服务的,是字节跳动打磨的一套云原生大数据技术栈,涵盖了从数据接入、数据存储、数据计算到数据服务的所有环节。其中,存储层是基于 HDFS 进行深度定制的 CloudFS + Iceberg,中间件包括 Kafka 和字节自研的 BMQ,计算引擎使用的是 Spark / Flink,还包括资源调度和混部,以及 HSAP 和外围服务。这套系统能管控达到几十万台机器,行业内达到10万级别体量的,就是非常领先的了。在这套系统中,为了支撑 EB 级别的数据存储,字节跳...
