深度学习数据集优劣
社区干货
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
> 深度学习的模型规模越来越庞大,其训练数据量级也成倍增长,这对海量训练数据的存储方案也提出了更高的要求:怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈,怎样更高效地支持特征工程、更便捷地增删... 随着数据集的规模增长,存储需求、成本也会相应增加,这对于大规模的训练模型来说是一个挑战。其次,还需要**优化** **训练样本** **的读取速度**。随着芯片技术的迭代和算力的增长,训练模型所需的计算资源也在不断...
基于深度学习的工业缺陷检测详解——从0到1|社区征文
和大家唠唠基于深度学习的钢轨表面伤损细粒度图像识别与目标检测,***总结一下工业缺陷检测流程***,包括从最开始的数据标注,中间的算法原理,再到最后的落地应用。无论你是搞实际项目or发论文or开阔视野,相信都会有所... 整个流程呢是先拍摄并标注一个大规模的轨面伤损目标检测数据集,包括轨面光带、剥离掉块、波浪磨耗等典型的轨面信息。这个数据集在图像数量、分辨率、覆盖类别、目标密度还有小目标代表方面都远远优于现有的类似数据...
我的深度学习项目经验分享|社区征文
我要和大家分享的项目也是我学习AI过程中做的小项目,是利用视频分析技术结合深度学习构建的一个智能视频监控系统,用来进行实时监测和分析人员活动,提供监测识别和报警等功能,还能用于大数据分析,远程访问和管理等等... 要确保视频数据的安全和隐私的保护,禁止没有授权的访问和篡改等恶意操作。## 技术可行性做项目之前,也是查了很多资料,确保项目能顺利实施。视频监控项目一般都需要进行视频流的采集,并且处理视频流,这里我选用...
边缘智变:深度学习引领下的新一代计算范式|社区征文
# 1.前言多年来,科技的飞速发展导致了数据处理和传输的需求暴涨,因此云计算成为了许多应用领域的核心基础设施。但是物联网(IoT)设备的普及和近年来5G网络的异军突起,数据量更是呈显出爆炸性的增长,对数据处理的速... 数据进行深入分析,提取有用的特征和信息。```import numpy as np from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier # 分割数据集为训练集和测...
特惠活动
深度学习数据集优劣-优选内容
深度学习数据集优劣-相关内容
2023 年度总结—总结我今年的AI之路-多项目实战经验谈AI发展前景|社区征文
让刚入门的小白也可以快速的了解机器学习,深度学习的内容,我觉得亚马逊这次的新产品Amazon SageMaker Canvas的意义十分巨大,我给予这块产品一个好评,期待以后会迭代的更好! 在实验的初期,可以看到我导入数据集和创建模型的步骤都相当直观,而且Canvas的快速构建功能极大地加速了模型的训练过程。在进行模型分析时,我们也能够清晰地看到模型的准确性和相关特征的重要性,这有助于更好地理解模型的性能和优劣。 还...
边缘计算技术:深度学习与人工智能的融合|社区征文
数据中心。云端和边缘端的ML 已经通过3年多的科普,广为大众所接受。今天我们看到的人脸门禁、摄像头行为识别、智能音箱...... 绝大部分场景都属于这两类。 以 TensorFlow & TF lite 等开源深度学习框架为基础的大... 学习在物联网各种终端微控制器中的应用。TinyML通常功耗为毫瓦(mW)级别甚至更低,因此可以支持各种不同的电池驱动的设备,和需要始终在线的应用。这些设备包括智能摄像头、远程监控设备、可穿戴设备、音频采集硬件以...
个人年度总结:深度学习与AIGC技术在智能诗歌生成中的应|社区征文
其中深度学习模型不断完善、开源模式的推动、大模型探索商业化的可能,成为 AIGC 发展的“加速度”。# “智能诗歌生成”的AIGC项目我曾参与了一个名为“智能诗歌生成”的AIGC项目。该项目的主要目标是利用人工智能技术生成具有特定主题和风格的诗歌。以下是我在该项目中的实践经验和内容分享:**数据收集与预处理:** 首先,我们收集了大量的古代诗歌和现代诗歌数据,并对这些数据进行清洗和预处理,包括去除标点符号、停用词、分...
基于深度学习的探地雷达图像去杂波|社区征文
**前言**探地雷达(GPR)是一种广泛应用于土木工程、地质工程和地质灾害监测的探测地下的方法,通过利用电磁波在不同介质之间的不同反射特性来探测和识别地下物体,GPR 通常沿测线采集高分辨率 B-Scan 雷达图,然而 B-Scan 雷达图在检测到目标响应时会伴有因不均匀地表的强反射、地下土层界面的回波以及发射和接收天线之间直接耦合所产生的杂波,有的杂波甚至掩盖了目标相应,严重影响了目标检测算法的性能。随着深度学习以及大模型的...
AI与深度学习的一年 | 社区征文
是根据放置在脑部的颅内电极或头皮表面电极采集获得的,表示大脑中神经元放电活动,这些活动包含了大脑的实时信息。深度学习方法能以更方便的方式对特征进行提取,在图像分类、人工智能等领域取得了良好的效果。近些年... 特征重构阶段将处理后的数据作为特征重构部分的输入,利用自注意力机制将提取到的特征向量进行强化重构,得到更进一步的特征向量;特征分类阶段将特征向量输入到分类部分,通过进一步的GCN和CNN卷积层来进行分类。##...
大模型:深度学习之旅与未来趋势|社区征文
# 前言从去年chatGPT爆火,到国内千模大战,关乎大模型的热度已经沸反盈天。但大模型出现的价值、意义似乎与实际使用效果存在鲜明的对比,特别是日常工作中,最多让大模型帮助生成一些不痛不痒、凑字数的内容,难易触达工作的核心环节。所以趁着国庆假期,我试图用国产大模型来协助完成一篇文章,从“知识生产”这个大模型擅长的角度来验证大模型能否更深度提升个人工作效率。