深度学习正负比例不均衡
社区干货
基于深度学习的工业缺陷检测详解——从0到1|社区征文
# beginning2023年可谓是人工智能浪潮翻涌的一年,AI在各个领域遍地开花。以我最熟悉的工业为例,深度学习也在其中起着重要作用。不知道小伙伴们熟不熟悉工业领域的缺陷检测腻?🧐🧐🧐今天就以钢轨表面缺陷为例,和大... 肉眼不容易标注的图像,比如背景非常黑暗,聚焦模糊或者轨面有反光。这些图像数据在工业领域是很常见的,毕竟拍摄的环境摆在那儿了。所以我们通常要对它们进行一个图像的处理,例如直方图均衡化、图像去噪、改变对比度...
「跨越障碍,迈向新的征程」盘点一下2022年度我们开发团队对于云原生的技术体系的变革|社区征文
在这里就不一一介绍了。> **最终我们将开开心心与kuboard度过一段较长的旅程。**在这里给没有接触过kuboard的小伙伴一些资料。可以学习一下哈。- Github地址:https://github.com/eip-work/kuboard-press- K... 提供了负载均衡、动态上游、灰度发布、服务熔断、身份认证、可观测性等丰富的流量管理功能。它能够在云原生和微服务的技术环境下,帮助企业解决一些新的问题。比如通过全动态特性将业务的流量进行自动扩缩容、通过一...
保姆级人工智能学习成长路径|社区征文
对机器学习和深度学习拥有自己独到的见解。今天给大家分享的是保姆级人工智能学习成长路径,希望能对大家有所帮助,特别是处于迷茫期的同学们。# 0. 前言 最近有很多小伙伴想学习人工智能,其中不少同学渴望从事... 还需要花费一些时间学习机器学习常用的库,比如Numpy(numpy.array的基本操作、Fancy Indexing)、Pandas(Series、DataFrame的基本操作)、scikit-learn(数据划分、常用模型、交叉验证等内容)、imblearn(不均衡数据的处...
字节跳动智能音频信号处理的应用实践
## 音频信号处理发展趋势从我这些年的工作过程中,我把音频信号处理分为了三个大的部分:- 最基础的部分是算法,包括自适应滤波器、阵列信号处理以及心理声学和深度学习等算法技术。- 算法基础可以保证上层关... 录音硬件不仅包括已有的视频硬件,在视频创作中我们也有一些专门的硬件来提供高质量的音视频。在算法层面,各场景对于回声消除、音频缩放、降噪以及后端的增益控制和声音均衡也都有一定的需求。随着目前技术的发...
特惠活动
深度学习正负比例不均衡-优选内容
深度学习正负比例不均衡-相关内容
字节跳动 Spark Shuffle 大规模云原生化演进实践
## 背景Spark 是字节跳动内部使用广泛的计算引擎,已广泛应用于各种大规模数据处理、机器学习和大数据场景。目前中国区域内每天的任务数已经超过 150 万,每天的 Shuffle 读写数据量超过 500 PB。同时某些单个任务... 一个作业中每个 Executor 写 Shuffle 数据的数量可能非常不均衡。由于 ESS 使用了 Dynamic Allocation 机制,每个 Executor 的运行时长和分配的 Map Task 数量可能不同。这导致在作业运行期间,大量的 Shuffle 数据可...
字节跳动正式开源分布式训练调度框架 Primus
> 项目地址:https://github.com/bytedance/primus 随着机器学习的发展,模型及训练模型所需的数据量越来越大,也都趋向于通过分布式训练实现。而算法工程师通常需要对这些分布式框架涉及到的底层文件存储和调度... 抖音搜索等业务的超大规模深度学习训练,日均可达上万任务的训练,450W Core资源的使用。# 未来规划1. 开源 Primus 更多能力后续将陆续开放,详见:https://mp.weixin.qq.com/s/uGBy-WpdjTMUy-7MQAZiww1. Primu...
字节跳动正式开源分布式训练调度框架 Primus
数据负载均衡与状态保存:支持按 Worker 负载动态分配 Task,如在 Worker 失败时支持回收 Task 并进行重新分配;9. 多线程高速数据读取:支持多线程读取 HDFS 和 Kafka 后输出到训练器,提高单训练器的吞吐。### 部署情况Primus 支撑了字节跳动内部“推荐”“广告”“搜索”等场景,如头条推荐、抖音视频推荐、穿山甲广告、千川图文广告、抖音搜索等业务的超大规模深度学习训练,日均可达上万任务的训练,450W Core资源的使用。...
为君作磐石——人人都能搭建大规模推荐系统
Google 开源的机器学习系统,可以使用P artitioned Variable 来分布式地存储 Embedding,从而实现大规模训练。但由于 table size 固定,有 hash 冲突风险。* **PyTorch**:Facebook 开源的机器学习系统,使用 Ring A... 复杂的深度模型,可能需要 GPU 来 Serving,并做一系列的性能优化。* **高可用**:少部分节点挂掉不影响在线稳定性,一般通过多副本解决,需要调度系统的支持。* **少抖动**:模型更新、上线、下线等操作,不会造成延...
字节跳动正式开源分布式训练调度框架 Primus
数据负载均衡与状态保存:支持按 Worker 负载动态分配 Task,如在 Worker 失败时支持回收 Task 并进行重新分配;9. 多线程高速数据读取:支持多线程读取 HDFS 和 Kafka 后输出到训练器,提高单训练器的吞吐。 **部署情况**Primus 支撑了字节跳动内部“推荐”“广告”“搜索”等场景,如头条推荐、抖音视频推荐、穿山甲广告、千川图文广告、抖音搜索等业务的超大规模深度学习训练,日均可达上万任务的训练,450W Core ...
火山引擎大规模机器学习平台架构设计与应用实践
还有多种不同类型的网卡。同时云原生的虚拟化也会产生损耗。火山引擎机器学习平台公有云上的系统,云原生本身会带来一些虚拟化损耗,比如网络和容器会进行一定的虚拟化,存储的分层池化也会带来负载均衡的问题。繁... Q:对于用在搜索广告推荐领域的大规模稀疏模型,AML 平台上有一些深度的针对性优化吗? A:我们内部的搜广推场景,底层的通信、机器等硬件层面和 CV、语音、NLP 是差不多的方案,谈不上要针对性的优化。如果要针对性的优...
字节跳动在联邦学习领域的探索及实践
如果探究联邦学习的历史,其经历了大概 3 到 5 年的发展。起初是 2015 年,Privacy-Preserving Deep Learning 这样的概念被提出,而后谷歌的 McMahan 提出若干深度学习方面的训练和应用模式。2018 年,微众发布联邦学... 联邦学习中的隐私保护 在纵向联邦学习中,有一方把 Label 泄露给另一方的风险,因为拥有 Label 的一方需要向另外一方发送每个样本的梯度。但是当正负样本不均衡的时候,负例的相关梯度会远远小于正例相关的梯度,因为...
KubeWharf:解析云原生未来的分布式操作系统|社区征文
云原生存储和机器学习等多样化场景的需求。在这篇博客中,我们将深入了解 KubeWharf,并结合实际案例和代码示例,探讨其在云原生生态系统中的重要性和潜力。KubeWharf 项目地址:[https://github.com/kubewharf](htt... KubeWharf通过与Kubernetes的深度集成,为用户提供了更灵活和高效的资源管理方式,使其能够轻松应对需要同时运行大量微服务的场景。无论是面向企业内部还是面向云服务提供商,KubeWharf 都为构建和管理大规模多租户集...
基于火山引擎 EMR 构建企业级数据湖仓
湖仓需求多样:如果有机器学习的需求,就需要进行特征工程等一系列步骤,这些步骤也催生了数据湖仓的多种需求,包括支持批式、流失计算和交互式数据科学等各种场景。 - 湖仓数据来源广泛:包括业务交易数据、业务... 比如通过 Spark MLlib 搭建传统的机型学习模型,或者通过 TensorFlow 进行深度模型的训练,把深度训练出来的模型部署到模型服务中。在线这一侧,数据通过 Kafka 流入 Flink 进行在线特征抽取,然后把在线特征放在 Re...
