加速大模型应用落地，“火山方舟”今日起航

6月28日，在2023火山引擎V-Tech体验创新科技峰会上，火山引擎发布大模型服务平台“火山方舟”，面向企业提供模型精调、评测、推理等全方位的平台服务（MaaS，即Model-as-a-Service）。目前，“火山方舟”集成了百川智能、出门问问、复旦大学MOSS、IDEA研究院、澜舟科技、MiniMax、智谱AI（以拼音首字母排序）等多家AI科技公司及科研院所的大模型，并已对外启动邀测。

大模型引领的体验创新时代

此前，火山引擎将云上增长的动力总结为三个核心要素，即“体验创新”、“数据驱动”和“敏捷迭代”。火山引擎总裁谭待表示：“做好体验创新，能够直接为企业创造巨大的用户价值和商业价值。当下，大模型已经当仁不让地拿起了技术革新和体验创新的接力棒。”

火山引擎总裁谭待公布“火山方舟”首批大模型合作伙伴

今年以来，国内大模型领域热度不减，无论是大模型发布的数量、覆盖的领域还是参与的组织和主体，大模型市场呈现百花齐放的态势。那么，如何才能真正地做好大模型呢？谭待认为，除关注算法、数据和算力三要素以外，还需要解决好如下问题。首先，要解决安全与信任问题，大模型企业希望为使用方提供可信任的方案，也希望模型方案和代码不被泄露；其次，性价比控制十分关键，研发早期模型预训练成本已然不低，而长期来看，模型推理计算成本会更高；同时，生成式模型还需要充分利用下游模型、插件等资源，良好的生态系统能够让大模型“长出手和脚”。当然，应用企业面对大模型也需要解决一些新的问题。比如，如何找到适合自己的大模型？如何做好大模型的提示工程？如何对接好插件和工具链？这些问题的存在可能会影响到大模型企业的发展和大模型的落地。

火山引擎服务了国内很多的大模型企业，面对国内大模型发展的新局面，火山引擎认为未来的大模型市场将是一个百花齐放的多模型生态；在未来，企业自身对于大模型的应用，将会是一个“1+N”的应用模式，即一个主力模型和N个外部模型协作的模式。

为应对这一局面，火山引擎坚定地和合作伙伴站在一起，正式发布大模型服务平台——火山方舟。

“火山方舟”大模型服务平台正式发布

推动大模型形成生产力

火山引擎智能算法负责人吴迪对“火山方舟”展开了进一步介绍。“火山方舟” 的使命是加速大模型和大算力的应用落地，加快大模型在各行业发挥商业价值。“火山方舟”致力于帮助千行百业，更容易地获取模型，更放心地使用模型， 更高效地打造应用。“火山方舟”希望在模型供应商和模型使用方之间，促成“研究-训练-应用-变现-反哺研究”的正向循环。

火山引擎智能算法负责人吴迪介绍“安全互信计算”

对模型提供方，通过 “火山方舟”能够以更低的成本触达海量客户，更小的代价在ToB市场实现规模化；严谨的安全互信机制，兼顾灵活性与安全性；源源不断的算力，形成最具竞争力的性价比。对模型使用者来说，通过 “火山方舟”可以便捷地接触到众多高质量的基座模型，一站式对接多家模型提供商，为不同场景选择最合适的模型。

具体来看，“火山方舟”基于大模型应用的工作习惯，打造了多个核心部分。“模型广场”会有不同的模型供应商提供不同版本和尺寸的模型，用户可以直接与模型交互，调用推理API，接入生产环境；“模型评估”是“火山方舟”重点打造的环节入口，用户可以基于业务需求设计一套可量化的评估指标，在模型评估后挑选最合适的模型；“模型精调” 可以帮助客户利用自有数据进行持续训练，建设和积累自己的精调数据集，降低推理成本。吴迪称，“一个经过良好精调的中小规格模型，在特定工作上的表现可能不亚于通用的、巨大的基座模型，而推理成本可以降低到原来的十分之一。”

目前，抖音集团内部已有十多个业务团队试用“火山方舟”，在代码纠错等研发提效场景，文本分类、总结摘要等知识管理场景，以及数据标注、归因分析等方面探索，利用大模型能力促进降本增效。这些内部实践在快速打磨“火山方舟”，推动平台能力的进一步完善。

为促进模型提供方和模型使用方的互信，“火山方舟”上线了基于安全沙箱的大模型安全互信计算方案，利用计算隔离、存储隔离、网络隔离、流量审计等方式，实现了模型的机密性、完整性和可用性保证，适用于对训练和推理延时要求较低的客户。

吴迪表示，“火山方舟”还在探索基于NVIDIA新一代硬件支持的可信计算环境、基于联邦学习的数据资产分离等多种方式的安全互信计算方案，更全面地满足大模型在不同业务场景的数据安全要求。

会上，NVIDIA 开发与技术部亚太区总经理李曦鹏表示，NVIDIA 与火山引擎过往合作成果丰硕，包括共同合作的 GPU 推理库 ByteTransformer 在 IEEE 国际并行和分布式处理大会（IPDPS 2023）上获得最佳论文奖，双方还联合开源了高性能图像处理加速库 CV-CUDA，并在大规模稳定训练、多模型混合部署等方面的技术合作上取得成效。
未来 NVIDIA 和火山引擎团队将继续深化合作，包含在 NVIDIA Hopper 架构进行适配与优化、机密计算、重点模型合作优化、共同为重点客户提供支持，以及 NeMo Framework 适配等，携手助力大模型产业繁荣。

携手伙伴共建多模型生态

集成多个大模型，供客户直接对比，“火山方舟”的多模型架构得到众多大模型生产方的积极响应，也为应用企业提供了丰富选择。

ChatGLM是智谱AI推出的千亿基座认知模型，其开源版本在大模型开源领域极具影响力，近期智谱AI还对ChatGLM做了新升级，大幅提升了模型能力。在“火山方舟”上，智谱AI提供具有竞争力的大模型，火山引擎提供高性价比资源、针对不同行业的精调能力及综合解决方案，共建安全可靠的第三方MaaS服务，合力推动各行业的智能化发展。据智谱AI CEO张鹏介绍，智谱AI在火山引擎平台上解决了千亿模型训练的稳定性、性能优化等挑战。

baichuan-7B发布后在MMLU、C-Eval等中英文权威榜单中均表现优异。百川智能联合创始人焦可表示，作为一款授权后可免费商用的开源大模型，开发者们可以通过baichuan-7B低成本部署模型，并根据自身需求灵活拓展模型能力，而本次与“火山方舟”的合作也将有效降低企业用户的大模型接入门槛和使用成本，帮助更多企业轻松获取专业服务。

MiniMax等大模型企业代表也亮相参加“火山方舟”的发布仪式。此前，MiniMax联合创始人杨斌公开分享了与火山引擎的合作成果：MiniMax在火山引擎上实现了从月至周级别的大模型迭代速度，和指数级的用户交互增长，“或许是国内第一家在公有云上实现数千卡并行训练的公司”。MiniMax还自研了超大规模的推理平台，稳定支撑着每天上亿次的大模型推理调用。MiniMax的文本、语音、视觉三个模态大模型登陆“火山方舟”，是双方合作的进一步深化。

科研机构同样是推动大模型技术发展的重要力量，复旦大学自然语言处理实验室开发的MOSS大模型、IDEA研究院开发的姜子牙系列大模型，均是该领域的代表作。IDEA研究院认知计算与自然语言研究中心讲席科学家张家兴表示，大模型生产方会不断提升基础模型能力，为大模型应用完成90%-99%的工作，“火山方舟”为代表的云平台要帮助客户为不同场景精调模型，“跑完最后一公里”。张家兴认为，“在技术驱动和需求拉动的作用下，大模型的世界必然百花齐放”。

会上，“火山方舟”宣布正式启动邀测，首批邀测企业包括了金融、汽车、消费等众多行业的客户。北京银行CIO龚伟华表示，大模型与客户营销、办公协同、数据智能的结合，在金融应用场景有巨大潜力。北京银行将与“火山方舟”合作，在算力优化、模型精调等方面展开研究，共同推动金融风控、营销等模型应用落地。

“每一次技术的大变革，都会带来体验创新的新机会”，谭待坦言，“火山方舟”还在起步阶段，工具链和下游应用插件需要持续完善。未来，平台还将接入更多大模型，并逐步扩大邀测范围，与企业客户共建开放合作的多模型生态，加速大模型在各行各业的应用落地。