常用的深度学习框架
社区干货
从100w核到450w核:字节跳动超大规模云原生离线训练实践
无服务器功能和不可变基础设施等技术是这种架构风格的常见元素。字节跳动在云原生离线训练方向的发展大概分为三个阶段:**单角色云原生训练 1.0,多角色云原生训练 2.0,云原生训练 3.0 三个阶段。**## **单角色云原生训练 1.0**离线训练框架 1.0 系统诞生于2015年10月(内部代号 Zion)。离线训练 Zion 框架是基于 Hadoop Streaming 架构在深度学习场景下的深度定制,每个训练作业对应一个 Hadoop YARN 上的 Zion 任务,具有(P...
边缘计算技术:深度学习与人工智能的融合|社区征文
**边缘ML:** 是指机器学习在不处于核心数据中心的,企业级计算机/设备中的应用。边缘设备包括服务器机房,现场服务器,以及位于各个地区以加快响应速度为目的的小型数据中心。云端和边缘端的ML 已经通过3年多的科普,广为大众所接受。今天我们看到的人脸门禁、摄像头行为识别、智能音箱...... 绝大部分场景都属于这两类。 以 TensorFlow & TF lite 等开源深度学习框架为基础的大量应用,推动了智能在云端和边缘端应用。然而,更加具有...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
训练一个机器学习模型可能需要数周甚至数月的时间。然而,如今基于更好的模型架构和高速显卡,我们可以在相对较短的时间内完成训练过程并进行 A/B 测试验证。另外,**特征工程** **越来越自动化、** **端到端** **化... 而随着深度学习的发展,我们可以利用深度学习的特征提取能力,通过简单的数据处理步骤自动学习特征,甚至可以将过程简化为在待调研的原始特征中往一张样本表格里加列的操作后利用深度学习框架自动学习和提取信息。 ...
基于深度学习的工业缺陷检测详解——从0到1|社区征文
# beginning2023年可谓是人工智能浪潮翻涌的一年,AI在各个领域遍地开花。以我最熟悉的工业为例,深度学习也在其中起着重要作用。不知道小伙伴们熟不熟悉工业领域的缺陷检测腻?🧐🧐🧐今天就以钢轨表面缺陷为例,和大... 这些图像数据在工业领域是很常见的,毕竟拍摄的环境摆在那儿了。所以我们通常要对它们进行一个图像的处理,例如直方图均衡化、图像去噪、改变对比度等。下图是对轨面图像进行基于受限对比度自适应直方图均衡化的难例...
特惠活动
常用的深度学习框架-优选内容
常用的深度学习框架-相关内容
我的深度学习项目经验分享|社区征文
# 引言AI爆火的2023年,也是我开始学习AI的第一年,从后端领域向AI领域发展也是一个不错的选择。是什么原因让我觉得AI领域更值得钻研和发展呢?其实之前的文章也能体现出来,AI的爆火在于它确实能促进整个社会中大多人群的学习工作和生活的效率的提升,这是非常实用的。我要和大家分享的项目也是我学习AI过程中做的小项目,是利用视频分析技术结合深度学习构建的一个智能视频监控系统,用来进行实时监测和分析人员活动,提供监测识别和...
基于深度学习的探地雷达图像去杂波|社区征文
随着深度学习以及大模型的普及,人们开始尝试将其应用到探地雷达图像去杂波任务中。 **基于深度学习的探地雷达图像去杂波**凭借强大的特征表示和学习能力,基于深度学习的方法已被广泛用于解决探地雷达杂波去... 而近年来提出的轻量双向分割网络 BiSeNetV2 采用双路径架构分别处理表层空间细节和深层语义,然后对二者的特征数据进行融合不但可以充分利用多尺度和多层次的特征信息,提高模型的准确性和鲁棒性;而且凭借其双路径大...
边缘智变:深度学习引领下的新一代计算范式|社区征文
上述只是常见的一些应用场景,边缘计算的强大之处让它被用于各个行业。# 5.实例项目分析下面给出一个博主做过的实例,使用边缘计算对大量的医疗数据进行实时处理和分析。1. 数据采集我们可以使用医疗设备和... 我使用Flask框架编写一个简单的Web API:```from flask import Flask, request, jsonify app = Flask(__name__) @app.route('/predict', methods=['POST']) def predict(): data = request.json['da...
GPU-使用Llama.cpp量化Llama2模型
CUDNN:深度神经网络库,用于实现高性能GPU加速。本文以8.5.0.96为例。 运行环境: Transformers:一种神经网络架构,用于语言建模、文本生成和机器翻译等任务。深度学习框架。本文以4.30.2为例。 Pytorch:开源的P... 此处选择较为常见的量化算法q4_0,即将模型的权重量化到4bit整型。 ./quantize models/Llama-2-7b-hf/ggml-model-f16.gguf models/ggml-model-q4_0.gguf q4_0 生成量化后的模型文件ggml-model-q4_0.gguf,存放在lla...
个人年度总结:深度学习与AIGC技术在智能诗歌生成中的应|社区征文
比如常用的手机导航中的声音。更深层次的应用将会是虚拟人领域,AIGC 不仅可以生成虚拟人的声音,并可以创造出说的内容。**游戏开发**AIGC 在游戏当中的应用可分为两方面,一方面用于场景和故事的搭建,另一方面玩家可以通过 AIGC 的平台工具来创建自己的虚拟人,可以用于游戏中的打金等活动。**代码生成**资料显示,2022 年 AIGC 发展速度惊人,迭代速度更是呈现指数级爆发,其中深度学习模型不断完善、开源模式的推动、大模型探索...
大模型和深度学习的工作总结|社区征文
越来越多的技术:深度学习、AI、大模型、虚拟现实VR等慢慢进入我们的生活。**基于大模型的图像去雾**在今年这个阶段,我的主要工作是研究基于深度学习的图像去雾工作。随着现代工业文明的发展进步,大气污染现象愈... 可以说当今最流行的架构就是 Transformer了。 Transformer 专为序列建模和转导任务而设计,因其利用注意力来对数据中的远程依赖性进行建模而闻名。它在语言领域的巨大成功促使研究人员研究它对计算机视觉的适应,最近...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
本文将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。作者|字节跳动基础架构研发工程师-谢凯 **01**... 而随着深度学习的发展,我们可以利用深度学习的特征提取能力,通过简单的数据处理步骤自动学习特征,甚至可以将过程简化为在待调研的原始特征中往一张样本表格里加列的操作后利用深度学习框架自动学习和提取信息。...
大模型:深度学习之旅与未来趋势|社区征文
# 前言从去年chatGPT爆火,到国内千模大战,关乎大模型的热度已经沸反盈天。但大模型出现的价值、意义似乎与实际使用效果存在鲜明的对比,特别是日常工作中,最多让大模型帮助生成一些不痛不痒、凑字数的内容,难易触达工作的核心环节。所以趁着国庆假期,我试图用国产大模型来协助完成一篇文章,从“知识生产”这个大模型擅长的角度来验证大模型能否更深度提升个人工作效率。