火山引擎谭待：多云多模型，迎接体验创新的新时代

6月28日，2023火山引擎V-Tech体验创新峰会在北京召开。会上，火山引擎发布了大模型服务平台“火山方舟”，面向企业提供模型精调、评测、推理等全方位的平台服务，希望打通大模型上下游链条，共建“多模型”行业生态，共同服务好千行百业。

火山引擎总裁谭待以《多云多模型，迎接体验创新的新时代》为主题，分享了火山引擎在大模型领域的洞察与探索。未来的大模型市场将是一个百花齐放的多模型生态，企业自身对大模型的应用将会呈现“1+N”模式。

如何做好、用好大模型？

一直以来，火山引擎致力于通过云和智能技术，帮助企业实现更好的数字化增长。火山引擎将云上增长的动力总结成了3个核心要素，即“体验创新”、“数据驱动”和“敏捷迭代”。谭待认为：“在云上增长三要素中，‘体验创新’能够直接为企业创造巨大的用户价值和商业价值。回顾历史，每次技术大变革，都会带来体验创新的巨大机会。现在，大模型已经当仁不让地捧起了技术创新和体验创新的接力棒。”

大模型的语言对话能力，第一次能够让机器去适应和理解人类的交互方式。大模型以seq2seq（Sequence-to-Sequence，序列到序列）的预测为基础，语言、图像、视频、计算机操作和指令都可以序列化，这也让大模型在各个行业落地呈现出成千上万种可能性。

目前，国内的大模型市场呈现出如火如荼的态势。做好大模型，算法、数据和算力三要素缺一不可，安全与信任、性价比、生态系统等问题也一样值得关注。

• 安全和信任指的是双向信任，大模型服务商希望模型方案和代码不被泄露；模型的应用企业也需要保障调用大模型时，自身Prompt或精调数据不被泄露。

• 性价比方面，从更长的时间维度来看，后期模型推理计算才是成本更高的环节。只有推理成本足够低，才能让大模型被广泛使用。

• 生态系统方面，生成式模型并不清楚自身所擅长的领域。因此需要被告知其自身优劣势，并在其不擅长的地方提供下游模型、API和插件。

此外，企业应该如何用好大模型，设计好企业在智能时代的技术路线？谭待认为，选择合适的大模型、做好提示工程、对接好插件和工具链，是三个关键。

首先，在选择合适的大模型之前，需要制定可量化的评估指标。是关注模型的逻辑推理能力？还是文本生成能力？还是风险控制能力？有了量化的评估指标作为依据，就可以针对不同的模型进行全方位的能力测评，选择性价比最合适的。

然后，需要做好提示工程（Prompt Engineering）。可以让Prompt尽可能全面地包含详细的任务内容、相关信息和说明。也可以通过Few-Shot Prompt的方式，尽可能地给大模型一些样本和示例。或者通过“step by step”这样CoT的方式，进一步加强模型的性能。

最后是对接好插件和工具链。大模型自己并不知道自己擅长什么，不擅长什么。所以需要通过工具并且帮助模型在合适的场景下更好地使用它们，带来更好的应用效果。

百花齐放的多模型生态

根据第三方报告显示，截止目前，中国已发布10亿参数以上的大模型有79个之多，在全国14个省市/地区均有团队在开展大模型研发。这里面既有自然语言大模型，也覆盖了图像、语音、视频等多模态领域。国内的高校、科研机构、企业等不同类型的主体都在积极参与大模型研发，学术界与产业界之间无缝连接。

因此，不少行业头部企业，都在考虑构建基于自身业务场景的组织内部大模型能力。这些企业往往有两种选择，一种是从0开始训练自己的模型，但这势必需要面临很多技术挑战，需要充足的预算；更合理的方式是，基于开源或商业基础模型，进行SFT（Supervised Fine Tune）或RLHF fine-tune，但这就需要质量较高的数据集。

这些企业的想法，是大模型行业发展的缩影。过去半年，火山引擎服务了国内诸多大模型公司，也走访了不少行业领军企业，共同探讨大模型的应用。正是基于这些动作，火山引擎对中国大模型的发展，有了如下关键判断：

• 未来的大模型市场，将是一个百花齐放的多模型生态，会同时并行存在几个少数的超大规模的大模型、多个中等规模的大模型和更多行业垂直模型。开放的市场竞争和模型多样性，会不断促进整体大模型技术的发展。

• 以行业头部企业为代表，企业对于大模型的应用，将会是“1+N”的应用模式：通过自研或与三方模型服务商深度合作，形成1个自身主力模型；在不同的场景中，还会同时应用N个外部模型。

火山引擎在“多云多模型”时代里将扮演怎样的角色？在模型生产端，火山引擎已经通过优秀的算力系统和机器学习平台，成为众多大模型企业的首选；在模型应用端，面对多模型生态和企业“1+N”应用模式，火山引擎将不断降低大模型的使用门槛，解决计算、安全、成本等通用问题，让交易成本足够低、让替代成本足够低，让企业可以更高效地应用大模型技术。

“火山方舟”，让企业高效应用大模型

在大会上，火山引擎正式发布大模型服务平台——火山方舟。

“火山方舟”汇聚了大量优秀的大模型服务商，企业可以一站式接入、使用各种大模型产品和服务，为不同业务场景找到最合适的解决方案。

在信任角度，“火山方舟”将会为大模型服务商和应用企业提供基于安全沙箱、硬件加密和联邦学习的多套大模型安全与信任解决方案，保障企业在使用大模型过程中的Prompt数据和精调数据的资产安全。

“火山方舟”也为企业提供大模型使用的一站式工作台。不仅包含模型试用、评测、接入、精调等能力；也通过训推一体、弹性调度、算子优化等能力，帮助应用企业全面进行成本优化；同时也为模型的开发和应用提供了大量的接口、插件、模版、下游模型等越来越完善的工具链。

大模型是当下最激动人心的技术创新，如果把大模型比作一个生态系统，只有更多样性的物种才能保障整个生态的健康持续。火山引擎希望通过大模型服务平台“火山方舟”，与上下游的模型开发企业、服务企业、应用企业一起，与创业者、开发者们共同携手，共建“多模型”的行业生态，服务好千行百业。