深度学习机器翻译
社区干货
大模型技术的发展与实践|社区征文
## 一、大模型的概念**大型语言模型,也称大语言模型、大模型(Large Language Model,LLM;Large Language Models,LLMs)** 。大语言模型是一种深度学习模型,特别是属于自然语言处理(NLP)的领域,一般是指包含数干亿... 更多的参数意味着模型可能具有更强的学习能力。### 1、语言模型的发展史语言是人类表达和交流的一种突出能力,我们在幼儿开始就学会了沟通表达,并且伴随我们一生。在很长一段时间机器无法掌握以人类的方式进行交...
个人年度总结:深度学习与AIGC技术在智能诗歌生成中的应|社区征文
其中深度学习模型不断完善、开源模式的推动、大模型探索商业化的可能,成为 AIGC 发展的“加速度”。# “智能诗歌生成”的AIGC项目我曾参与了一个名为“智能诗歌生成”的AIGC项目。该项目的主要目标是利用人工智能技术生成具有特定主题和风格的诗歌。以下是我在该项目中的实践经验和内容分享:**数据收集与预处理:** 首先,我们收集了大量的古代诗歌和现代诗歌数据,并对这些数据进行清洗和预处理,包括去除标点符号、停用词、分...
边缘计算技术:深度学习与人工智能的融合|社区征文
**边缘ML:** 是指机器学习在不处于核心数据中心的,企业级计算机/设备中的应用。边缘设备包括服务器机房,现场服务器,以及位于各个地区以加快响应速度为目的的小型数据中心。云端和边缘端的ML 已经通过3年多的科普,广为大众所接受。今天我们看到的人脸门禁、摄像头行为识别、智能音箱...... 绝大部分场景都属于这两类。 以 TensorFlow & TF lite 等开源深度学习框架为基础的大量应用,推动了智能在云端和边缘端应用。然而,更加具有...
智能时代的算法技术实践|火山引擎开发者社区 Meetup 第五期
机器翻译、自然语言处理等技术的最新进展及其在语音交互、内容推荐等场景的应用实践,带大家探秘字节跳动和 OPPO 背后的算法前沿实践!
特惠活动
深度学习机器翻译-优选内容
深度学习机器翻译-相关内容
基于深度学习的工业缺陷检测详解——从0到1|社区征文
# beginning2023年可谓是人工智能浪潮翻涌的一年,AI在各个领域遍地开花。以我最熟悉的工业为例,深度学习也在其中起着重要作用。不知道小伙伴们熟不熟悉工业领域的缺陷检测腻?🧐🧐🧐今天就以钢轨表面缺陷为例,和大... 一般是人工或机器拍摄得到的宝贵数据。拿轨面伤损数据集来说,拍摄者站在两股钢轨中间,手持拍摄设备,镜头距轨面垂直距离200mm,竖直向下聚焦拍摄,侧面补光以图像没有暗影和反光为佳,补光角度大概30°。拍摄得到数据...
AI 和机器学习:探索智能科技的未来 | 社区征文
机器视觉和深度学习技术能执行复杂的检测任务,在工业原料和成品自动化有缺陷检测。同时人工智能也被用来预测设备维护,预知设备性能下降以便及时保养。在能源领域,人工智能为智能电网与智能设备应用提供了技术支撑。例如通过预测负荷和发电能力,实现电网资源优化配置与调度。电池状态监测和故障预测也有了智能化。在石油勘探与输出领域,人工智能在含水地层采油、高倍率井开钻等方面发挥了重要作用。在交通运输业,人工智能推动交通...
AI与深度学习的一年 | 社区征文
深度学习方法能以更方便的方式对特征进行提取,在图像分类、人工智能等领域取得了良好的效果。近些年来,一些研究人员开始将深度学习方法应用于癫痫发作检测领域。# 方法## 1融合GCN和transformer的癫痫自动检测... 学习文本的表示。Transformer 是一个标准的编码--解码结构,包括一系列编码与解码器的堆叠,在自然语言处理方向十分广泛,通常任务如文本分类、情感分析等只需编码器即可,而对于一些生成式任务如机器翻译、对话分析、...
GPU-部署Baichuan大语言模型
CUDNN:深度神经网络库,用于实现高性能GPU加速。本文以8.5.0.96为例。 运行环境:Transformers:一种神经网络架构,用于语言建模、文本生成和机器翻译等任务。深度学习框架。本文以4.30.2为例。 Pytorch:开源的Python机器学习库,实现强大的GPU加速的同时还支持动态神经网络。本文以2.0.1为例。 Anaconda:获取包且对包能够进行管理的工具,包含了Conda、Python在内的超过180个科学包及其依赖项,用于创建Python虚拟环境。本文以Anacon...
字节跳动摘得ACL最佳论文桂冠,相关研究成果将在火山翻译中应用
近日,国际顶级学术会议ACL 2021正式颁发了大会奖项,字节跳动AI Lab的机器翻译技术论文当选今年度“最佳论文”。这是ACL成立59年以来,中国科学家团队第2次赢得最高奖项。 ACL 2021由国际计算语言学协会举办,是自然语言处理(NLP)与计算语言学领域最高级别的学术会议。本次共有3350篇论文参与评选,最终只有21.3%的论文录用。 在这篇论文中,字节跳动技术团队提出了“面向机器翻译的最佳运输词表学习方案”(Vocabulary Learning via O...
火山引擎在机器写作和机器翻译方面的最新进展
实际学习当中就需要找到最好的一组参数,使得语料里面的联合概率最大。 在另外一些问题当中,例如机器翻译、对话生成以及自动问答当中,我们通常会有一个输入,输入也是一个序列,我们要针对这个输入做一个输出,例如机器翻译,给定一个输入的英文句子(X),我们要输出一个目标语言中文的句子(Y),所以我们要对 YX 这样一个条件概率去建模,同样可以用之前提到的 Transformer 模型来对这个概率建模。 把深度生成模型按照方法类别去归一个类...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
> 深度学习的模型规模越来越庞大,其训练数据量级也成倍增长,这对海量训练数据的存储方案也提出了更高的要求:怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈,怎样更高效地支持特征工程、更便捷地增删和回填特征。本文将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。**相关产品**:https://www.volcengine.com/product/flink # 机...
大模型和深度学习的工作总结|社区征文
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/44b74ab4861f41bb8b8defb68ffb7e98~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715790048&x-signature=r%2FQoE1Yg9ciSZimdgVl5eHmXkKQ%3D)**前言**在 2023 年疫情早已结束的当下,时代也在飞速的发展和进步,越来越多的技术:深度学习、AI、大模型、虚拟现实VR等慢慢进入我们的生活。**基于大模型的图像去雾**在今年这个阶段...
关于对Stable Diffusion 模型性能优化方案分享 主赛道 | 社区征文
涵盖机器学习、深度学习和数据分析等多个方面,同时为参赛者提供实践机会,通过解决问题和实现功能,更好地理解和运用oneAPI技术。**Stable Diffusion**是2022年发布的深度学习图像化生成模型,它主要用于根据文本的描述产生详细图像,尽管它也可以应用于其他任务,如内补绘制、外补绘制,以及在提示词指导下产生图生图的翻译。Stable Diffusion技术作为一种先进的生成模型,具有在生成图像任务中表现出色的潜力。然而,在实际部署中,...
