深度学习处理大数据
社区干货
大数据、人工智能与大模型:技术融合的未来趋势|社区征文
通过收集和分析海量大数据,我们能够展示大量工作模式、趋势和关联,这些信息对于企业和组织做出明智的决策至关重要。在我参与的一个零售行业分析项目中,通过利用用户购买数据,我们能够准确预测市场趋势,优化库存管理,并提升客户满意度,极大提高了工作效率。## 人工智能:从数据中学习的能力人工智能的核心在于学习和适应。AI系统通过算法来模拟人类的学习过程,从而解决问题和执行任务。基于深度学习的神经网络也是如此,经过大量...
基于大数据、大模型的应用总结与技术心得|社区征文
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/15443de444fb4ca1a520c650490a0a3b~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714753242&x-signature=myn4kWZteSIhpoonX%2Bku%2BB%2Fv%2F7c%3D)# 前言 随着时代的发展和技术人员不断地研究,深度学习技术逐渐在研究领域扩散开来,大数据也逐渐进入我们的生活,大模型也无处不在地帮助我们生活和工作。 # 大数据、大模型的...
我的深度学习项目经验分享|社区征文
为大家详细介绍我是如何使用深度学习与视频分析技术构建项目的。# 项目细节## 需求分析这可能是一个与本文主题关联不大的模块,为了能让读者清楚了解项目背景,就简单总结几点项目需求。首先在功能方面,系统大致需要能解码视频并提取关键帧用于人脸检测和行为识别,并且要能展示分析结果,包括标注人脸和行为,还能够实时报警。系统性能方面,要在实时场景下对大量视频数据进行处理和分析,所以需要有高效的算法和硬件支持,简而言...
边缘智变:深度学习引领下的新一代计算范式|社区征文
# 1.前言多年来,科技的飞速发展导致了数据处理和传输的需求暴涨,因此云计算成为了许多应用领域的核心基础设施。但是物联网(IoT)设备的普及和近年来5G网络的异军突起,数据量更是呈显出爆炸性的增长,对数据处理的速... 承担数据的收集和传送。设备层是数据的关键运营商,特点是设备品种繁多,数据类型不同。边缘服务器层该层的关键是处理来自设备层的数据,进行初步解决、剖析和过滤,并把处理后的数据发送到云计算层。边缘服务器一般...
特惠活动
深度学习处理大数据-优选内容
深度学习处理大数据-相关内容
边缘计算技术:深度学习与人工智能的融合|社区征文
**边缘ML:** 是指机器学习在不处于核心数据中心的,企业级计算机/设备中的应用。边缘设备包括服务器机房,现场服务器,以及位于各个地区以加快响应速度为目的的小型数据中心。云端和边缘端的ML 已经通过3年多的科普,广为大众所接受。今天我们看到的人脸门禁、摄像头行为识别、智能音箱...... 绝大部分场景都属于这两类。 以 TensorFlow & TF lite 等开源深度学习框架为基础的大量应用,推动了智能在云端和边缘端应用。然而,更加具有...
AI与深度学习的一年 | 社区征文
深度学习方法能以更方便的方式对特征进行提取,在图像分类、人工智能等领域取得了良好的效果。近些年来,一些研究人员开始将深度学习方法应用于癫痫发作检测领域。# 方法## 1融合GCN和transformer的癫痫自动检测模型基于GCN和transformer的癫痫自动检测模型,该网络模型处理过程中可以分成三个步骤:特征提取、重构和分类。在特征提取阶段,通过GCN对输入的脑电信号进行去噪并进行特征提取处理;特征重构阶段将处理后的数据作为特...
基于深度学习的工业缺陷检测详解——从0到1|社区征文
# beginning2023年可谓是人工智能浪潮翻涌的一年,AI在各个领域遍地开花。以我最熟悉的工业为例,深度学习也在其中起着重要作用。不知道小伙伴们熟不熟悉工业领域的缺陷检测腻?🧐🧐🧐今天就以钢轨表面缺陷为例,和大家唠唠基于深度学习的钢轨表面伤损细粒度图像识别与目标检测,***总结一下工业缺陷检测流程***,包括从最开始的数据标注,中间的算法原理,再到最后的落地应用。无论你是搞实际项目or发论文or开阔视野,相信都会有所收获...
ApacheCon - 云原生大数据上的 Apache 项目实践
**专题:人工智能/机器学习** * #### **字节跳动深度学习批流一体训练实践** **毛洪玥 字节跳动基础架构工程师** **演讲简介:** 随着公司业务发展,算法复杂度不断提升,越来越多的算法模... 使得包括大数据、AI 在内越来越多类型的负载应用开始向 Kubernetes 迁移,字节内部探索 Spark 从 Hadoop 迁移到 Kubernetes,使得作业云原生化运行。同时搜索有大量 GPU 需求量极大的离线批处理任务,随着潮汐任务上量...
喜讯!火山引擎 Flink、Spark 产品通过信通院可信大数据能力评测
“可信大数据”产品能力评测结果。 **火山引擎** **流式计算 Flink 版**和 **火山引擎** **批式计算 Spark 版** **凭借出色的基础能力、优秀的性能和稳定性及安全能力,分别通过** **分布式** **流处理** ... 抖音的超大规模批计算,提供面向深度学习场景的深度优化。在100%兼容 Apache Spark 的同时,实现企业级功能增强,配备 **火山引擎独有的 Cloud Shuffle Service 以保障 Spark 的作业性能和稳定性** 。批式计算 Spark...
基于深度学习的探地雷达图像去杂波|社区征文
随着深度学习以及大模型的普及,人们开始尝试将其应用到探地雷达图像去杂波任务中。 **基于深度学习的探地雷达图像去杂波**凭借强大的特征表示和学习能力,基于深度学习的方法已被广泛用于解决探地雷达杂波去除任务。由于 GPR 数据具有波速变化和反射不连续性等特性,可能需要大量的标记数据才能训练出准确的模型。这意味着需要花费更多的时间和资源来收集和标记数据,并且模型结构相对复杂,为降低其运算时间,我们主要采用两...
在大数据量中 Spark 数据倾斜问题定位排查及解决|社区征文
参与了多个大数据项目的开发建设工作,也参与了几个数仓项目的治理优化工作,在这么多的项目中,让我印象比较深刻的就是在使用Spark引擎执行任务出现的报错现象,接下来就回顾复盘下这次任务报错现象及具体的解决方案。### 2. 问题描述因为现在大多数的批量任务都是使用Spark去执行,所以Spark的地位在公司是举足轻重,那么对于Spark的深入理解和优化显得尤为重要,部门人员都在深入学习Spark的执行过程,底层原理等,以期待遇到问题之...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
更丰富的训练数据来确保模型的准确性和泛化能力。其次,**训练算力越来越强**。在过去,训练一个机器学习模型可能需要数周甚至数月的时间。然而,如今基于更好的模型架构和高速显卡,我们可以在相对较短的时间内完成训练过程并进行 A/B 测试验证。另外,**特征工程** **越来越自动化、** **端到端** **化**。在传统的机器学习中,特征工程是非常重要的一环,通常需要大量的人工、时间和精力来处理数据和特征。而随着深度学习的发展,...
ApacheCon - 云原生大数据上的 Apache 项目实践
#### 字节跳动深度学习批流一体训练实践**毛洪玥 字节跳动基础架构工程师****演讲简介:** 随着公司业务发展,算法复杂度不断提升,越来越多的算法模型在离线更新的基础上探索实时训练以提升模型效果。为实现复杂... 使得包括大数据、AI 在内越来越多类型的负载应用开始向 Kubernetes 迁移,字节内部探索 Spark 从 Hadoop 迁移到 Kubernetes,使得作业云原生化运行。同时搜索有大量 GPU 需求量极大的离线批处理任务,随着潮汐任务上量...
