You need to enable JavaScript to run this app.
斩获 IPDPS 2023 最佳论文奖
最近更新时间:2023.06.19 15:26:48首次发布时间:2023.06.19 15:26:48

字节跳动与英伟达、加州大学河滨分校联合发表的论文 《ByteTransformer: A High-Performance Transformer Boosted for Variable-Length Inputs》在第37届IEEE国际并行和分布式处理大会(IPDPS 2023)中,从396篇投稿中脱颖而出,荣获《IPDPS 2023 最佳论文奖》。

alt获奖证书

论文提出了字节跳动的GPU transformer推理库——ByteTransformer。

  1. 针对自然语言处理常见的可变长输入,论文提出了一套优化算法,这些算法在保证运算正确性的前提下,成功避免了传统实现中的冗余运算,实现了端到端的推理过程的大幅优化;
  2. 论文中手动调优了Transformer中的multi-head attention, layer normalization, activation等核心算子,将ByteTransformer的推理性提升至业界领先水平;
  3. 与PyTorch,TensorFlow,NVIDIA FasterTransformer,Microsoft DeepSpeed-Inference等知名的深度学习库相比,ByteTransformer在可变长输入下最高实现131%的加速。论文代码已开源。
    论文地址:https://arxiv.org/abs/2210.03052

IPDPS: 并行和分布式计算方向计算机系统领域的旗舰会议。该会议专注于分享并讨论并行计算、分布式计算、大规模数据处理以及高性能计算等相关领域的最新研究进展。参与的专家学者来自世界各地的顶尖研究机构和企业,共同探讨该领域的创新发展和前沿技术。

代码地址:https://github.com/bytedance/ByteTransformer

ByteTransformer是一种高效的Transformer实现,它通过一系列优化手段,实现了在BERT Transformer上的高性能表现。对于变长文本输入,相比其他Transformer实现,ByteTransformer具有明显的优势,实验中平均加速可达50%以上。适用于加速自然语言处理任务,提高模型训练与推理的效率。同时,ByteTransformer也为其他研究者提供了一种高效的Transformer实现方式,其优化手段和性能表现对于实际应用具有重要意义。

此次获奖论文,主要由火山引擎机器学习平台技术团队参与编写,火山引擎机器学习平台为抖音/今日头条/西瓜视频等业务提供推荐、广告、CV、语音、NLP的训练和推理系统;同时,火山引擎也将机器学习和推荐系统的核心能力提供给外部企业客户。