大数据工程师深度学习
社区干货
我的深度学习项目经验分享|社区征文
AI的爆火在于它确实能促进整个社会中大多人群的学习工作和生活的效率的提升,这是非常实用的。我要和大家分享的项目也是我学习AI过程中做的小项目,是利用视频分析技术结合深度学习构建的一个智能视频监控系统,用来进行实时监测和分析人员活动,提供监测识别和报警等功能,还能用于大数据分析,远程访问和管理等等。下面我将使用软件工程的思路,为大家详细介绍我是如何使用深度学习与视频分析技术构建项目的。# 项目细节## 需求分...
大数据技术年度总结 | 主赛道
大数据技术已经成为当今社会不可或缺的重要支撑。作为一名从事大数据技术研究的工程师,我深感荣幸能够参与到这个充满挑战和机遇的领域。本文将对我过去一年的工作进行总结,并展望未来的发展趋势。***大数据可视... 技术深度:虽然我已经掌握了一些大数据相关技术,但在某些领域还需进一步加强学习,比如深度学习、自然语言处理等领域。项目经验:虽然我已经参与了多个大数据项目,但在项目管理、团队协作等方面还需要不断积累经验。...
边缘智变:深度学习引领下的新一代计算范式|社区征文
# 1.前言多年来,科技的飞速发展导致了数据处理和传输的需求暴涨,因此云计算成为了许多应用领域的核心基础设施。但是物联网(IoT)设备的普及和近年来5G网络的异军突起,数据量更是呈显出爆炸性的增长,对数据处理的速... 将结果与其他医疗数据进行比较,或者使用其他高级分析技术来提高诊断的准确性和可靠性。infoq原文链接:[边缘智变:深度学习引领下的新一代计算范式 (infoq.cn)](https://xie.infoq.cn/article/39f62d756a0249615ba...
边缘计算技术:深度学习与人工智能的融合|社区征文
**边缘ML:** 是指机器学习在不处于核心数据中心的,企业级计算机/设备中的应用。边缘设备包括服务器机房,现场服务器,以及位于各个地区以加快响应速度为目的的小型数据中心。云端和边缘端的ML 已经通过3年多的科普,广为大众所接受。今天我们看到的人脸门禁、摄像头行为识别、智能音箱...... 绝大部分场景都属于这两类。 以 TensorFlow & TF lite 等开源深度学习框架为基础的大量应用,推动了智能在云端和边缘端应用。然而,更加具有...
特惠活动
大数据工程师深度学习-优选内容
大数据工程师深度学习-相关内容
基于大数据、大模型的应用总结与技术心得|社区征文
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/15443de444fb4ca1a520c650490a0a3b~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1716222052&x-signature=t9i9RxospdtBz4NoMfsfSBO5W54%3D)# 前言 随着时代的发展和技术人员不断地研究,深度学习技术逐渐在研究领域扩散开来,大数据也逐渐进入我们的生活,大模型也无处不在地帮助我们生活和工作。 # 大数据、大模型的应用总结...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
> 深度学习的模型规模越来越庞大,其训练数据量级也成倍增长,这对海量训练数据的存储方案也提出了更高的要求:怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈,怎样更高效地支持特征工程、更便捷地增删... 只能通过 PySpark 的方式对于算法工程师来说不太友好。- Apache Iceberg 是一种开放的表格式,记录了一张表的元数据:包括表的 Schema、文件、分区、统计信息等。这种元数据计算具备高拓展性,为数据湖管理提供了更...
ApacheCon - 云原生大数据上的 Apache 项目实践
数据湖中的一些实践收益。 **讲师简介:** 王正,于 2021 年加入字节跳动,就职于基础架构开放平台团队,主要负责 Serverless Flink 等方向研发;闵中元,于 2021 年加入字节跳动,就职于基础架构开放平台团队,主要负责 Serverless Flink ,Flink OLAP 等方向研发。 **专题:人工智能/机器学习** * #### **字节跳动深度学习批流一体训练实践** **毛洪玥 字节跳动基础架构工程师** **演讲简介:*...
基于深度学习的工业缺陷检测详解——从0到1|社区征文
# beginning2023年可谓是人工智能浪潮翻涌的一年,AI在各个领域遍地开花。以我最熟悉的工业为例,深度学习也在其中起着重要作用。不知道小伙伴们熟不熟悉工业领域的缺陷检测腻?🧐🧐🧐今天就以钢轨表面缺陷为例,和大家唠唠基于深度学习的钢轨表面伤损细粒度图像识别与目标检测,***总结一下工业缺陷检测流程***,包括从最开始的数据标注,中间的算法原理,再到最后的落地应用。无论你是搞实际项目or发论文or开阔视野,相信都会有所收获...
基于深度学习的探地雷达图像去杂波|社区征文
随着深度学习以及大模型的普及,人们开始尝试将其应用到探地雷达图像去杂波任务中。 **基于深度学习的探地雷达图像去杂波**凭借强大的特征表示和学习能力,基于深度学习的方法已被广泛用于解决探地雷达杂波去除任务。由于 GPR 数据具有波速变化和反射不连续性等特性,可能需要大量的标记数据才能训练出准确的模型。这意味着需要花费更多的时间和资源来收集和标记数据,并且模型结构相对复杂,为降低其运算时间,我们主要采用两...
2023 年总结与技术心得 | 社区征文
我发现自己在大数据领域迈出了坚实的一步。两年的工作经验让我更加深入地理解了大数据的本质,也提升了解决实际问题的能力。在这个信息爆炸的时代,大数据工程师的使命变得尤为重要。### 技术深度与广度的平衡在处理海量用户数据的过程中,我们团队发现在数据清洗和预处理阶段存在明显的性能瓶颈。传统的处理方法变得越来越慢,影响了整个数据流程的效率。为了解决这个问题,我深入研究了现有的数据处理工具,发现了一款新的分布式...
个人年度总结:深度学习与AIGC技术在智能诗歌生成中的应|社区征文
其中深度学习模型不断完善、开源模式的推动、大模型探索商业化的可能,成为 AIGC 发展的“加速度”。# “智能诗歌生成”的AIGC项目我曾参与了一个名为“智能诗歌生成”的AIGC项目。该项目的主要目标是利用人工智能技术生成具有特定主题和风格的诗歌。以下是我在该项目中的实践经验和内容分享:**数据收集与预处理:** 首先,我们收集了大量的古代诗歌和现代诗歌数据,并对这些数据进行清洗和预处理,包括去除标点符号、停用词、分...
演讲预告|云原生大数据系列实践分享
云原生大数据方案,逐渐成为众多企业解决传统大数据平台痛点的不二之选。2023年8月5-6日,09:00-12:30,DataFun 举办 DataFunSummit 云原生大数据峰会。火山引擎云原生计算团队深度参与本次线上峰会,由 **火山引擎... **程航 字节跳动 计算引擎开发工程师** **演讲简介** :在字节跳动内部,Spark 是应用最广泛的计算引擎,每天任务数超过 150W,被广泛应用于大规模数据处理,机器学习等场景。线上集群磁盘类型多样,包括 SSD、HDD...
ApacheCon - 云原生大数据上的 Apache 项目实践
最后介绍一下字节跳动在实时数据湖中的一些实践收益。**讲师简介:** 王正,于 2021 年加入字节跳动,就职于基础架构开放平台团队,主要负责 Serverless Flink 等方向研发;闵中元,于 2021 年加入字节跳动,就职于基础架构开放平台团队,主要负责 Serverless Flink ,Flink OLAP 等方向研发。 ### 专题:人工智能 / 机器学习#### 字节跳动深度学习批流一体训练实践**毛洪玥 字节跳动基础架构工程师****演讲简介:** 随着公...
