深度学习训练机器
社区干货
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
> 深度学习的模型规模越来越庞大,其训练数据量级也成倍增长,这对海量训练数据的存储方案也提出了更高的要求:怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈,怎样更高效地支持特征工程、更便捷地增删和回填特征。本文将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。**相关产品**:https://www.volcengine.com/product/flink # 机...
大模型助力科技革命:2023年的里程碑与大模型的未来展望 | 社区征文
# 📑前言> 对大模型的简单理解:有着大量数据进行的深度学习或机器学习的模型,这些数据可以通过训练过程自动调整以捕获输入数据中的复杂关系。这类模型通常具有较深的网络结构和较多的神经元,以增加模型的表示能力和学习能力。大模型的诞生影响,对如今发展的许多领域,诸如自然语言处理、计算机视觉和语音识别等等,都有着显著的成果!
特惠活动
深度学习训练机器-优选内容
深度学习训练机器-相关内容
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
深度学习的模型规模越来越庞大,其训练数据量级也成倍增长,这对海量训练数据的存储方案也提出了更高的要求:怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈,怎样更高效地支持特征工程、更便捷地增删和回填特征。本文将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。作者|字节跳动基础架构研发工程师-谢凯 **01...
AI技术进展和总结|社区征文
随着机器学习和深度学习的发展,AI技术也在不断地推陈出新,也融入到了在我的工作和生活中,今年以来我的主要研究方向便是人工智能的方向。 # AI技术 近年来,基于AI的预训练技术在文档理解任务方面取得了显着进展,在文档人工智能社区中掀起了波澜。预训练的文档AI模型可以解析扫描表格、工作文档和学术论文等各种文档的布局并提取出最关键信息,这对于工作应用和学术研究非常重要。基于AI的自监督预训练技术由于其重建预训练...
项目分享:AIGC 技术在智能教学生成中的应用 | 社区征文
深度学习在智能教学中的应用深度学习作为机器学习的一个分支,能够模拟人脑神经网络的工作原理,实现对复杂数据的自动特征提取和分类。在智能教学中,深度学习技术主要应用于以下几个方面:**个性化推荐系统**:利用深度学习算法,分析学生的学习习惯、兴趣和需求,为其推荐个性化的学习资源和路径。例如,根据学生的答题情况,智能推荐相关知识点和练习题,帮助他们更好地掌握知识,以下是部分核心代码。```import tensorflow as tf...
从100w核到450w核:字节跳动超大规模云原生离线训练实践
云原生离线训练框架支撑了字节跳动内部“推荐”“广告”“搜索”等场景,如头条推荐、抖音视频推荐、穿山甲广告、千川图文广告、抖音搜索等业务的超大规模深度学习训练——以上场景的机器学习训练均是基于 **Primus** **训练框架**完成。整个机器学习生态**从上到下分为“平台层”“框架层”“资源层”** 3个部分。字节跳动算法工程师使用 Reckon 训练平台完成了模型编写、训练、上线的全部过程。Reckon 训练平台中包含基于 TF ...
从100w核到450w核:字节跳动超大规模云原生离线训练实践
云原生离线训练框架支撑了字节跳动内部“推荐”“广告”“搜索”等场景,如头条推荐、抖音视频推荐、穿山甲广告、千川图文广告、抖音搜索等业务的超大规模深度学习训练——以上场景的机器学习训练均是基于 **Primus** **训练框架**完成。 整个机器学习生态 **从上到下分为“平台层”“框架层”“资源层”** 3个部分。字节跳动算法工程师使用 Reckon 训练平台完成了模型编写、训练、上线的全部过程。Reckon 训练平台中包...
基于深度学习的探地雷达图像去杂波|社区征文
随着深度学习以及大模型的普及,人们开始尝试将其应用到探地雷达图像去杂波任务中。 **基于深度学习的探地雷达图像去杂波**凭借强大的特征表示和学习能力,基于深度学习的方法已被广泛用于解决探地雷达杂波去除任务。由于 GPR 数据具有波速变化和反射不连续性等特性,可能需要大量的标记数据才能训练出准确的模型。这意味着需要花费更多的时间和资源来收集和标记数据,并且模型结构相对复杂,为降低其运算时间,我们主要采用两...
AI与深度学习的一年 | 社区征文
深度学习方法能以更方便的方式对特征进行提取,在图像分类、人工智能等领域取得了良好的效果。近些年来,一些研究人员开始将深度学习方法应用于癫痫发作检测领域。# 方法## 1融合GCN和transformer的癫痫自动检测... Google在顶级机器学习会议上发表了论文“Attention is all you need”提出了 Transformer,一种自注意力机制来学习文本的表示。Transformer 是一个标准的编码--解码结构,包括一系列编码与解码器的堆叠,在自然语言处...
基于深度学习的工业缺陷检测详解——从0到1|社区征文
# beginning2023年可谓是人工智能浪潮翻涌的一年,AI在各个领域遍地开花。以我最熟悉的工业为例,深度学习也在其中起着重要作用。不知道小伙伴们熟不熟悉工业领域的缺陷检测腻?🧐🧐🧐今天就以钢轨表面缺陷为例,和大... 用它去训练目标检测算法,我在这里使用的是yolov5进行迁移学习,得到一个基准模型。对这个基准模型的各类目标进行详细的性能评估,算法对轨面光带、剥离掉块、疲劳裂纹等这些伤损的各类难例都能进行较好的兼容。有了目...
字节跳动正式开源分布式训练调度框架 Primus
> 项目地址:https://github.com/bytedance/primus 随着机器学习的发展,模型及训练模型所需的数据量越来越大,也都趋向于通过分布式训练实现。而算法工程师通常需要对这些分布式框架涉及到的底层文件存储和调度... 提高单训练器的吞吐。 ## 部署情况Primus 支撑了字节跳动内部“推荐”“广告”“搜索”等场景,如头条推荐、抖音视频推荐、穿山甲广告、千川图文广告、抖音搜索等业务的超大规模深度学习训练,日均可达上万任...
