You need to enable JavaScript to run this app.
导航
通过函数服务消费消息队列 Kafka 版
最近更新时间:2024.06.28 15:42:00首次发布时间:2024.06.27 17:05:47

本文为您介绍通过 函数服务 消费 消息队列 Kafka 版 的优势、使用场景、业务案例及相关文档链接。

优势

函数服务(Volcano Engine Function as a Service,veFaaS)是事件驱动的 Serverless 全托管计算平台。通过函数服务提供的 Kafka 触发器,开发人员可简单轻松地接入待消费的 Kafka Topic,无需关心函数服务消费消息的细节,最大限度地专注于消息处理的业务逻辑。

  • 上手成本低:无语言限制,无需学习大数据框架,只需专注业务的消息处理逻辑。

  • 运维成本低:无需管理和运维服务器等底层基础设施,并且提供通用的 MQ 消费治理能力。

  • 自动扩缩容:根据业务流量自动进行函数实例的扩容和缩容,保证服务高可靠运行。

  • 资源成本低:计算资源按请求量和实际执行时间计费,不执行不收费,进一步缩减资源成本。同时,支持单实例多并发请求,提高资源利用率。

使用场景

函数服务适用于通用大规模、弹性消费场景,主要场景有:

  • 实时 ETL:通过触发器支持上游数据的自定义处理及转储。

  • 离线消费:适用于数据量大、数据源多、波峰波谷流量差距巨大的场景,可显著降低成本。

  • 中台业务:维护和管理大量的消费者,无需管理资源和扩缩容。

业务案例

  • 抖音红包雨钱包入账
    抖音红包雨钱包入账业务,具有大流量、低延迟、高稳定、伴随流量突增的特点。通过函数服务实时消费 Kafka 将红包入账消息写入数据库,几分钟内即可完成千万至上亿用户的资金入账。通过函数服务即时的弹性扩缩容能力,根据业务流量实时扩容消费,并发处理,保证数据处理的时效性、稳定性。业务低谷时,函数服务自动缩容,避免资源浪费。

  • MQ 中台业务
    MQ 中台业务通常需要处理成百上千的消息队列,具有大流量和众多上下游的特点。因此,对于资源隔离、动态扩缩容以及高效的开发/运维都有较高的要求。通过函数服务提供的 Kafka 触发器功能,业务可快速接入和管理大量 Kafka 消费者,无需关注 consumer 的实现,用户只需使用自己熟悉的编程语言完成消息处理逻辑,即可高效消费、处理、投递消息。另外,依托函数提供的 serverless 自动扩缩容能力,用户无需关心函数资源调配,函数实例会根据业务流量自动扩缩,且只为函数执行时长付费,对于波峰波谷明显的场景,资源成本更低。最后,通过函数服务提供的OpenAPI,用户可快速便捷搭建自己的业务平台。
    alt

使用指南