深度学习开源库
社区干货
大模型:深度学习之旅与未来趋势|社区征文
这个大模型擅长的角度来验证大模型能否更深度提升个人工作效率。# 训练方法目前,模型加速领域已经建立了很多有影响力的开源工具,国际上比较有名的有微软DeepSpeed、英伟达Megatron-LM,...
边缘计算技术:深度学习与人工智能的融合|社区征文
**边缘ML:** 是指机器学习在不处于核心数据中心的,企业级计算机/设备中的应用。边缘设备包括服务器机房,现场服务器,以及位于各个地区以加快响应速度为目的的小型数据中心。云端和边缘端的ML 已经通过3年多的科普,广为大众所接受。今天我们看到的人脸门禁、摄像头行为识别、智能音箱...... 绝大部分场景都属于这两类。 以 TensorFlow & TF lite 等开源深度学习框架为基础的大量应用,推动了智能在云端和边缘端应用。然而,更加具有...
我的深度学习项目经验分享|社区征文
AI的爆火在于它确实能促进整个社会中大多人群的学习工作和生活的效率的提升,这是非常实用的。我要和大家分享的项目也是我学习AI过程中做的小项目,是利用视频分析技术结合深度学习构建的一个智能视频监控系统,用来进... 这里我选用的是图像处理库(如OpenCV)对视频流进行预处理,这些技术也已经非常成熟。视频还需要进行解码与帧的提取,这是为了方便后续的人脸检测和行为识别,使用了oneAPI加速工具对视频进行解码。人脸检测模块使用了O...
个人年度总结:深度学习与AIGC技术在智能诗歌生成中的应|社区征文
其中深度学习模型不断完善、开源模式的推动、大模型探索商业化的可能,成为 AIGC 发展的“加速度”。# “智能诗歌生成”的AIGC项目我曾参与了一个名为“智能诗歌生成”的AIGC项目。该项目的主要目标是利用人工智能技术生成具有特定主题和风格的诗歌。以下是我在该项目中的实践经验和内容分享:**数据收集与预处理:** 首先,我们收集了大量的古代诗歌和现代诗歌数据,并对这些数据进行清洗和预处理,包括去除标点符号、停用词、分...
特惠活动
深度学习开源库-优选内容
深度学习开源库-相关内容
斩获 IPDPS 2023 最佳论文奖
Microsoft DeepSpeed-Inference等知名的深度学习库相比,ByteTransformer在可变长输入下最高实现131%的加速。论文代码已开源。论文地址:https://arxiv.org/abs/2210.03052 IPDPS: 并行和分布式计算方向计算机系统领域的旗舰会议。该会议专注于分享并讨论并行计算、分布式计算、大规模数据处理以及高性能计算等相关领域的最新研究进展。参与的专家学者来自世界各地的顶尖研究机构和企业,共同探讨该领域的创新发展和前沿技术。 代码...
GPU-使用Llama.cpp量化Llama2模型
CUDNN:深度神经网络库,用于实现高性能GPU加速。本文以8.5.0.96为例。 运行环境: Transformers:一种神经网络架构,用于语言建模、文本生成和机器翻译等任务。深度学习框架。本文以4.30.2为例。 Pytorch:开源的Python机器学习库,实现强大的GPU加速的同时还支持动态神经网络。本文以2.0.1为例。 Python:执行Llama.cpp的某些脚本所需的版本。本文以Python 3.8为例。 使用说明下载本文所需软件需要访问国外网站,建议您增加网络...
GPU-部署Baichuan大语言模型
CUDNN:深度神经网络库,用于实现高性能GPU加速。本文以8.5.0.96为例。 运行环境:Transformers:一种神经网络架构,用于语言建模、文本生成和机器翻译等任务。深度学习框架。本文以4.30.2为例。 Pytorch:开源的Python机器学习库,实现强大的GPU加速的同时还支持动态神经网络。本文以2.0.1为例。 Anaconda:获取包且对包能够进行管理的工具,包含了Conda、Python在内的超过180个科学包及其依赖项,用于创建Python虚拟环境。本文以Anacon...
veImageX演进之路:我用图像压缩算法为公司省了30%成本
**前言** 日前,第五届深度学习图像压缩挑战赛(以下将简称“ CLIC 大赛”)比赛结果公布,首次参赛的火山引擎视频云多媒体实验室夺得视频压缩赛道第一名。压缩技术对于图像、视频应用十分重要。在保证同样主观质... 实验室下:自研解码和开源解码性能对比,耗时越低越好。(单位:ms,其中绿色为自研解码)经过如上调教,我们基本可以将图片的解码耗时控制在对齐webp的解码耗时时间。**实验设计**秉承科学严谨的原则,我们选择实验...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
> 深度学习的模型规模越来越庞大,其训练数据量级也成倍增长,这对海量训练数据的存储方案也提出了更高的要求:怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈,怎样更高效地支持特征工程、更便捷地增删... 包括我们团队近期开源的分布式训练调度框架 Primus,以及传统的 PyTorch 和 TensorFlow 等,用户可以根据需求选择适合的计算、训练框架。第二层即猛犸湖的**核心层**。对外为用户提供了 SDK 自助和元数据服务,平台...
GPU-部署Pytorch应用
本文介绍如何在Linux实例上部署Pytorch应用。 Pytorch简介PyTorch是一个开源的Python机器学习库,用于自然语言处理等应用程序,不仅能够实现强大的GPU加速,同时还支持动态神经网络。 软件版本操作系统:本文以Ubuntu 18.04为例。 NVIDIA驱动:GPU驱动:用来驱动NVIDIA GPU卡的程序。本文以470.57.02为例。 CUDA工具包:使GPU能够解决复杂计算问题的计算平台。本文以CUDA 11.4为例。 CUDNN库:深度神经网络库,用于实现高性能GPU加速。本文...
AI安全技术总结与展望| 社区征文
对机器学习和深度学习拥有自己独到的见解。今天给大家分享的是AI安全技术总结与展望,欢迎大家在评论区留言,和大家一起成长进步。 本文将从AI安全分类、AI安全应用、AI安全面临的威胁、AI安全事件、AI安全公司... 可通过机器学习自动识别可疑的行为,如删除、访问数据库、移动等,从而及时采取防御或者处置措施,以防泄露重要的数据。机器学习还能对不同的数据进行分类,在更细粒度上识别风险,保护数据的安全。 近来来,人工智...
关于对Stable Diffusion 模型性能优化方案分享 主赛道 | 社区征文
涵盖机器学习、深度学习和数据分析等多个方面,同时为参赛者提供实践机会,通过解决问题和实现功能,更好地理解和运用oneAPI技术。**Stable Diffusion**是2022年发布的深度学习图像化生成模型,它主要用于根据文本的... 我们可以使用一些库和工具来实现。在这里,我将使用 TensorFlow Model Optimization Toolkit 来进行权重剪枝。```pip install tensorflowpip install tensorflow_model_optimization```然后,我们可以按照以下...
深入探究音视频开源库WebRTC中NetEQ音频抗网络延时与抗丢包的实现机制 | 主赛道
是一个由Google发起的实时音视频通讯C++开源库,其提供了音视频采集、编码、网络传输,解码显示等一整套音视频解决方案,我们可以通过该开源库快速地构建出一个音视频通讯应用。一个实时音视频应用软件一般都会包括... 免费公开的《**Google 开源项目风格指南(zh-google-styleguide)** 》,它不仅仅是Googe的编码规范,它不仅告诉你编码时要怎么做,还告诉你为什么要这么做!对于学习C++11及以上的新特性也很有好处!**这本项目风格指南,...
