深度学习特征工程
社区干货
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
> 深度学习的模型规模越来越庞大,其训练数据量级也成倍增长,这对海量训练数据的存储方案也提出了更高的要求:怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈,怎样更高效地支持特征工程、更便捷地增删和回填特征。本文将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。**相关产品**:https://www.volcengine.com/product/flink # 机...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
深度学习的模型规模越来越庞大,其训练数据量级也成倍增长,这对海量训练数据的存储方案也提出了更高的要求:怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈,怎样更高效地支持特征工程、更便捷地增删和回填特征。本文将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。作者|字节跳动基础架构研发工程师-谢凯 **01...
基于深度学习的探地雷达图像去杂波|社区征文
**前言**探地雷达(GPR)是一种广泛应用于土木工程、地质工程和地质灾害监测的探测地下的方法,通过利用电磁波在不同介质之间的不同反射特性来探测和识别地下物体,GPR 通常沿测线采集高分辨率 B-Scan 雷达图,然而 B-Scan 雷达图在检测到目标响应时会伴有因不均匀地表的强反射、地下土层界面的回波以及发射和接收天线之间直接耦合所产生的杂波,有的杂波甚至掩盖了目标相应,严重影响了目标检测算法的性能。随着深度学习以及大模型的...
AI与深度学习的一年 | 社区征文
深度学习方法能以更方便的方式对特征进行提取,在图像分类、人工智能等领域取得了良好的效果。近些年来,一些研究人员开始将深度学习方法应用于癫痫发作检测领域。# 方法## 1融合GCN和transformer的癫痫自动检测模型基于GCN和transformer的癫痫自动检测模型,该网络模型处理过程中可以分成三个步骤:特征提取、重构和分类。在特征提取阶段,通过GCN对输入的脑电信号进行去噪并进行特征提取处理;特征重构阶段将处理后的数据作为特...
特惠活动
深度学习特征工程-优选内容
深度学习特征工程-相关内容
我的深度学习项目经验分享|社区征文
AI的爆火在于它确实能促进整个社会中大多人群的学习工作和生活的效率的提升,这是非常实用的。我要和大家分享的项目也是我学习AI过程中做的小项目,是利用视频分析技术结合深度学习构建的一个智能视频监控系统,用来进行实时监测和分析人员活动,提供监测识别和报警等功能,还能用于大数据分析,远程访问和管理等等。下面我将使用软件工程的思路,为大家详细介绍我是如何使用深度学习与视频分析技术构建项目的。# 项目细节## 需求分...
边缘智变:深度学习引领下的新一代计算范式|社区征文
特点是设备品种繁多,数据类型不同。边缘服务器层该层的关键是处理来自设备层的数据,进行初步解决、剖析和过滤,并把处理后的数据发送到云计算层。边缘服务器一般部署在网络边缘,与设备层紧密联系,能够快速反映设备... 提取有用的特征和信息。```import numpy as np from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier # 分割数据集为训练集和测试集 X_train, ...
个人年度总结:深度学习与AIGC技术在智能诗歌生成中的应|社区征文
其中深度学习模型不断完善、开源模式的推动、大模型探索商业化的可能,成为 AIGC 发展的“加速度”。# “智能诗歌生成”的AIGC项目我曾参与了一个名为“智能诗歌生成”的AIGC项目。该项目的主要目标是利用人工智... 以便于后续的特征提取和模型训练。**特征提取:** 我们使用词嵌入技术将诗歌中的每个词表示为一个高维向量,这些向量能够捕捉到词语之间的语义关系。然后,我们通过计算这些向量的相似度来提取诗歌的特征。**模型...
大模型和深度学习的工作总结|社区征文
越来越多的技术:深度学习、AI、大模型、虚拟现实VR等慢慢进入我们的生活。**基于大模型的图像去雾**在今年这个阶段,我的主要工作是研究基于深度学习的图像去雾工作。随着现代工业文明的发展进步,大气污染现象愈... 能够使模型能够自适应地为感兴趣的特征分配更多的权重。用浅显易懂的话来说就是对于图像去雾的效果更加理想了。 一些模型引入与通道注意模块串联或并行的空间注意模块,使网络集中在雾霾难以去除的区域,能够更加彻底...
AI赋能安全技术总结与展望| 社区征文
对机器学习和深度学习拥有自己独到的见解。今天给大家分享的是AI赋能安全技术总结与展望,欢迎大家在评论区留言,和大家一起成长进步。# 1. 背景 伴随着人工智能技术的蓬勃发展,当前网络空间已经迈进到人工智能... 在此条件下使用传统机器学习方法更为恰当。在传统机器学习方法中,如何进行有效的特征工程,往往是工作中的重中之重。接下来将会分享一种核心方法论:**小颗粒度分析法**。 主要内容来自于2021年12月份的论文:[M...
边缘计算技术:深度学习与人工智能的融合|社区征文
**边缘ML:** 是指机器学习在不处于核心数据中心的,企业级计算机/设备中的应用。边缘设备包括服务器机房,现场服务器,以及位于各个地区以加快响应速度为目的的小型数据中心。云端和边缘端的ML 已经通过3年多的科普,广为大众所接受。今天我们看到的人脸门禁、摄像头行为识别、智能音箱...... 绝大部分场景都属于这两类。 以 TensorFlow & TF lite 等开源深度学习框架为基础的大量应用,推动了智能在云端和边缘端应用。然而,更加具有...
大模型:深度学习之旅与未来趋势|社区征文
现有的工作通常针对通用的深度神经网络设计优化策略,如何结合 Transformer 大模型的特性做针对性的优化有待进一步研究。# 项目分享下面我给大家分享一个基于预训练模型的命名实体识别...
AI技术进展和总结|社区征文
随着机器学习和深度学习的发展,AI技术也在不断地推陈出新,也融入到了在我的工作和生活中,今年以来我的主要研究方向便是人工智能的方向。 # AI技术 近年来,基于AI的预训练技术在文档理解任务方面取得了显着... 在深度学习方面取得了快速进展。 最近提出的基于AI的LayoutLMv3模型非常成功,LayoutLMv3 是文档 AI 中第一个多模态模型,不依赖于预训练的卷积神经网络来提取视觉特征,这样节省了参数并消除了区域注释。LayoutL...
深入探索:AI与大模型在实际应用中的全景 |社区征文
**数据清洗与特征工程**在面对实际数据时,数据质量往往是一个挑战。因此,在进入模型训练之前,我们进行了大量的数据清洗工作,包括处理缺失值、去除异常值等。同时,通过特征工程,我们从原始数据中提取了更有代表性的特征,以供模型使用。### 模型选择与训练- **模型选择**在推荐系统中,常用的模型包括协同过滤、内容过滤和深度学习模型。我们选择了一个基于深度学习的神经网络模型,因为它在处理复杂的用户-商品关系上...
