给深度学习添加可解释性
社区干货
边缘计算技术:深度学习与人工智能的融合|社区征文
**边缘ML:** 是指机器学习在不处于核心数据中心的,企业级计算机/设备中的应用。边缘设备包括服务器机房,现场服务器,以及位于各个地区以加快响应速度为目的的小型数据中心。云端和边缘端的ML 已经通过3年多的科普,广为大众所接受。今天我们看到的人脸门禁、摄像头行为识别、智能音箱...... 绝大部分场景都属于这两类。 以 TensorFlow & TF lite 等开源深度学习框架为基础的大量应用,推动了智能在云端和边缘端应用。然而,更加具有...
大模型:深度学习之旅与未来趋势|社区征文
这个大模型擅长的角度来验证大模型能否更深度提升个人工作效率。# 训练方法目前,模型加速领域已经建立了很多有影响力的开源工具,国际上比较有名的有微软DeepSpeed、英伟达Megatron-LM,...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
> 深度学习的模型规模越来越庞大,其训练数据量级也成倍增长,这对海量训练数据的存储方案也提出了更高的要求:怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈,怎样更高效地支持特征工程、更便捷地增删和回填特征。本文将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。**相关产品**:https://www.volcengine.com/product/flink # 机...
AI安全技术总结与展望| 社区征文
对机器学习和深度学习拥有自己独到的见解。今天给大家分享的是AI安全技术总结与展望,欢迎大家在评论区留言,和大家一起成长进步。 本文将从AI安全分类、AI安全应用、AI安全面临的威胁、AI安全事件、AI安全公司... 还可以利用标注好的样本进行异常检测、使用关联图谱发觉欺诈的新型模式。在异常流量检测场景中,可分析原始数据包,提取数据包长度,时序等特征,使用机器学习算法识别异常流量,并提供加密流量的检测能力,最终可应用于...
特惠活动
给深度学习添加可解释性-优选内容
给深度学习添加可解释性-相关内容
「跨越障碍,迈向新的征程」盘点一下2022年度我们开发团队对于云原生的技术体系的变革|社区征文
NGINX-Ingress 更加的稳定(v1.22开始)** ,大家都知道Ingress是作为服务请求代理的必要入口,它的性能以及功能的扩展性决定着服务的运行能力,所以对他的升级也是很有必要的,而且他的bug也是对于我们服务的运行有着决定性的影响,下面就是Ingress与K8s的版本映射关系(新版本关系)4. 【新增功能】以下是我们...
GPU-部署NGC环境
可以帮助科学家和研究人员快速构建、训练和部署神经网络模型。NGC官网提供了当前主流深度学习框架的镜像,例如Caffe、TensorFlow、Theano、Torch等。 软件版本操作系统:本文以Ubuntu 18.04为例。 NVIDIA驱动:GPU驱动:用来驱动NVIDIA GPU卡的程序。本文以470.57.02为例。 CUDA:使GPU能够解决复杂计算问题的计算平台。本文以CUDA 11.4为例。 CUDNN:深度神经网络库,用于实现高性能GPU加速。本文以8.2.4.15为例。 TensorFlow:深度学习...
从100w核到450w核:字节跳动超大规模云原生离线训练实践
抖音搜索等业务的超大规模深度学习训练——以上场景的机器学习训练均是基于 **Primus** **训练框架**完成。整个机器学习生态**从上到下分为“平台层”“框架层”“资源层”** 3个部分。字节跳动算法工程师使用 R... 新一代离线训练框架 2.0 增加了“多角色弹性调度”“多角色 Failover 能力”“训练进度增量 Checkpoint ”等功能,提供“灵活”“高效”“易用”的模型训练能力。## **多角色云原生训练** **2.0**在 “云原生训...
大模型的应用前景:从自然语言处理到图像识别 | 社区征文
数据增长:随着互联网的发展和数字化的加速,大型数据集变得更容易得到。大型数据集为大型模型的实践带来了更多样版,使模型可以学到更复杂、更精准的方式。- 迁移学习:迁移学习是指从一个任务中所学的知识转移... 还应进一步研究与处理大型模型的可解释性、隐私保护等问题。# 一、核心要点了解自然语言(NLP)关键点: 语言产生:GPT 系列等大型模型在英语产生任务上取得了重大突破。他们能够形成连贯、有逻辑的文本,适用...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
深度学习的模型规模越来越庞大,其训练数据量级也成倍增长,这对海量训练数据的存储方案也提出了更高的要求:怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈,怎样更高效地支持特征工程、更便捷地增删和回填特征。本文将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。作者|字节跳动基础架构研发工程师-谢凯 **01...
字节跳动 Spark Shuffle 大规模云原生化演进实践
## 背景Spark 是字节跳动内部使用广泛的计算引擎,已广泛应用于各种大规模数据处理、机器学习和大数据场景。目前中国区域内每天的任务数已经超过 150 万,每天的 Shuffle 读写数据量超过 500 PB。同时某些单个任务的 Shuffle 数据能够达到数百 TB 级别。与此同时作业量与 Shuffle 的数据量还在增长,相比去年,今年的天任务数增加了 50 万,总体数据量的增长超过了 200 PB,达到了 50% 的增长。Shuffle 是用户作业中会经常触发的功...
在GPU实例中部署NGC环境
本文将介绍在GPU实例上部署NGC环境。 实验介绍:本教程向大家介绍,如何在GPU实例上部署NGC环境。NGC(NVIDIA GPU CLOUD)是NVIDIA开发的一套深度学习生态系统,可以使开发者免费访问深度学习软件堆栈,建立合适深度学习的开发环境。在实验正式开始之前,请先完成以下准备工作: 购买Linux GPU实例。具体操作步骤可参考购买云服务器; 确保您已经为您的Linux实例绑定了公网IP,若暂未绑定,可参考绑定公网IP; 在实例安全组入方向添加规则并...
SaaS产品动态
2023.11.21 数据管理更新类型 功能描述 产品截图说明 优化 归因配置环节: 支持选择自定义场景时,通过「添加spm」操作配置多个spm,最多添加200个spm。 支持选择「排除」,当勾选「排除」时,表示排除指定的spm,对... 在对模型做加法时选择增益较高的特征。 增加模型的可解释性,帮助算法工程师对模型、特征进行理解。 通过特征重要性间接提供策略建议。 栏位管理-物品池【新功能】支持同一强插位同时配置时间段不重合的强插内容...
CVPR 2024 | 模块化无参视频质量评估
无参视频质量评估 (Blind Video Quality Assessment,BVQA) 在评估和改善各种视频平台并服务用户的观看体验方面发挥着关键作用。当前基于深度学习的模型主要以下采样/局部块采样的形式分析视频内容,而忽视了实际空域分辨率和时域帧率对视频质量的影响,随着高分辨率和高帧率视频投稿逐渐普及,特别是跨分辨率/帧率视频转码档位画质评估场景中,这种影响变得更加不可忽视。在本文中,**我们提出了一种模块化 BVQA 模型,以及一种** **训...
