You need to enable JavaScript to run this app.
导航
创建实例
最近更新时间:2023.12.11 21:55:04首次发布时间:2021.08.30 16:20:22

应用接入消息队列 Kafka版之前,需要在控制台创建 Kafka 实例。消息队列 Kafka版提供多种实例规格,对应不同的计算能力和存储空间,您可以根据实际业务需求选择不同的实例规格。本文介绍创建 Kafka 实例的操作步骤。

前提条件

  • 如果是首次创建 Kafka 实例,您需要先完成跨服务访问授权,建议通过火山引擎主账号操作。详细说明请参考跨服务访问授权
  • 如果需要通过私有网络访问消息队列 Kafka版实例,请先在相同地域创建 ECS 云服务器、私有网络和子网,且子网中有至少 6 个空闲的内网 IP 地址。创建实例后,不可更改实例所在的私有网络。
  • 如果需要通过公网访问消息队列 Kafka版实例,请先申请同地域的 EIP,建议绑定的 EIP 带宽上限大于预估的公网业务流量峰值。详细操作步骤请参考申请公网 IP

注意事项

默认情况下,您可以在每个地域中创建 8 个 Kafka 实例,每个账号在每个地域中的所有实例存储容量总和最大为 90TiB,否则创建实例时报错The instance_num/storage_sum has exceeded quota。如需提高配额,请在配额中心提交申请,例如申请提高每个地域下的最大实例数量(InstanceNum),最高可调整至 16 个。

操作步骤

  1. 登录消息队列 Kafka版控制台

  2. 在顶部菜单栏中选择需要创建实例的地域。

  3. 实例列表页面左上角单击创建实例

    说明

    首次创建实例,单击创建实例后,页面会自动跳转至跨服务访问授权页面,请根据页面提示完成授权。详细说明请参考跨服务访问授权

  4. 填写 Kafka 实例的基本信息

    参数

    说明

    实例名称

    Kafka 实例的名称。 需满足以下要求:

    • 只能包含中文、字母、数字、下划线(_)和连字符(-)。
    • 不能以数字和连字符(-)开头。
    • 长度范围为1~128个字符。

    说明

    如果创建实例时未指定名称,则默认将实例 ID 作为实例名称。

    实例描述

    Kafka 实例的简单描述。长度范围为 1~128 个字符。

  5. 填写 Kafka 实例的规格配置

    参数

    说明

    部署方案

    实例在当前地域的部署方式。支持设置为:

    • 单可用区部署:在当前地域下的指定可用区创建 Kafka 实例。单可用区部署可降低网络延时,提高访问速度。
      此时需要为实例指定 1 个可用区。
    • 多可用区部署:在当前地域下的多个可用区创建 Kafka 实例。跨可用区部署可提高可用性,同时可能会出现 2ms~3ms 的网络延迟。
      此时需要为实例指定 3 个可用区。

    版本

    Kafka 的版本号,当前支持的 Apache Kafka 版本包括:

    • 2.2.2
    • 2.8.2

    计算规格

    Kafka 实例的计算规格。
    不同的计算规格,其业务读流量峰值、业务写流量峰值和分区数不同,存储规格的阈值也不同。请根据实际业务需求,规划对于计算能力和存储空间的要求,合理选择计算规格。

    存储类型

    Kafka 实例数据存储的云盘类型。可设置为 ESSD_FlexPL 或 ESSD_PL0。相比 ESSD_PL0,ESSD_FlexPL 拥有更高的 IOPS 性能,在消息高吞吐以及大量堆积等场景下性能更加稳定。关于不同存储类型的性能说明,请参考云盘规格

    说明

    • 对于峰值流量超过 100MB/s 的规格,应使用 ESSD_FlexPL。
    • 创建实例后不支持修改存储类型,请谨慎选择。

    存储规格

    Kafka 实例的存储空间容量。
    存储容量取值范围取决于实例的计算规格,请根据业务需求合理设置存储容量。

    分区数

    Kafka 实例的分区数量,请根据业务需求合理设置分区数。
    不同规格提供数量不同的免费分区额度,超过免费额度的部分将另外收取分区费用。每个规格可创建的分区数量范围请参考产品规格,分区的计费方式请参考计费项

    高级参数

    Kafka 实例的高级参数,包括实例的最大消息大小等参数配置。详细说明请参考下表。

    高级参数配置说明:

    参数

    说明

    最大消息大小

    单条消息的最大长度,即消息队列 Kafka版能收发的消息的最大值。 该参数设置需要和生产与消费客户端配置相匹配,否则可能会出现消息丢失的情况。
    单位为 MB,取值范围为 1~12。默认值为 10。

    消息保留时长

    在磁盘容量充足的情况下,消息的最大保留时长,即消息的存储时间。单位为小时,取值范围为 1~2160,即消息最久保留 90 天。
    磁盘容量达到 90% 时,为确保服务可用性,后端服务会提前删除部分历史消息,详细说明请参考磁盘容量阈值策略

    消费位点保留时长

    消费位点的最大保留时长。 从提交消费位点的时间开始计算,超过该时长的消费位点将被删除。每向一个 Topic 分区提交一次消费位点,该消费位点的保留时间就会被重置,即从 0 开始计算。
    单位为分钟,取值范围为 1~10080,即消费位点最久保留 7 天。默认值为 4320 分钟,即 3 天。

    说明

    修改实例的消费位点保留时长将引发实例滚动重启,可能会出现服务的短暂不可用。建议您在客户端实现重连机制,以避免客户端断开连接无法重连。

    消息时间类型

    消息时间戳类型。默认设置为 CreateTime。支持设置为:

    • LogAppendTime:使用服务端写入消息的时间作为消息时间戳。
    • CreateTime:使用 Producer 创建消息的时间,也就是客户端传入的消息时间戳(CreateTime)作为消息时间戳。

    自动删除Group

    是否自动删除 Group。默认为关闭状态。

    • 开启后,如果消费者组中的所有消费者处于 Empty 状态,超出消费位点保留时长后会自动删除该消费者组。
    • 关闭后,消费进度的自动删除不影响消费组的状态,Empty 状态的 Group 不会被自动删除。

    说明

    修改该参数配置将引发实例滚动重启,可能会出现服务的短暂不可用。建议您在客户端实现重连机制,以避免客户端断开连接无法重连。

  6. 填写 Kafka 实例的网络配置

    参数

    说明

    访问方式

    Kafka 实例的网络访问方式。

    • 私有网络:指定 Kafka 实例所在的私有网络和子网。私有网络(VPC,Virtual Private Cloud)是为云上资源构建隔离的、自主配置和管理的虚拟网络环境。若当前账号下没有可用的私有网络,请根据页面提示创建一个新的私有网络。详细步骤请参考创建私有网络

      说明

      实例创建完成后,不可修改对应的私有网络。创建实例时请谨慎操作。

    • 公网访问:公网访问默认为关闭状态,如需开启,请勾选开启公网访问,并选择EIP。 EIP 提供独立的公网 IP 资源,包括公网 IP 地址与公网出口带宽服务。公网地址将绑定您的弹性公网 IP(EIP),费用由 EIP 收取。

      说明

      开启公网访问后,消息队列 Kafka版为实例提供公网接入点,用于客户端通过公网访问 Kafka 实例,您可以根据是否需要 SSL 认证选择对应的接入点。支持客户端对服务端证书的单向 SSL 认证,数据加密传输,相较于普通公网访问方式具备更高的安全性。

    白名单

    为 Kafka 实例绑定一个白名单。绑定白名单后,仅配置在白名单中的 IP 地址与地址段才能访问此实例。

    注意

    此设置的默认选项为 default,对应 IP 地址为 0.0.0.0。如果维持此默认设置创建实例,后台服务将允许所有地址访问该 Kafka 实例。出于信息安全考虑,建议您在创建实例时选择绑定实例到其他已创建的白名单,或参考页面提示立即创建一个新的白名单。

    您可以单击选项框,将此实例绑定到已有的白名单或新白名单中。

    • 绑定到已有白名单:为实例绑定一个已创建的白名单。绑定模式设置为已有白名单,并选择一个选择已创建的白名单。每个实例最多支持绑定 100 个白名单。
    • 绑定到新白名单:创建一个新的白名单,并将其与实例绑定。新白名单的名称等详细配置规则,请参考创建白名单
  7. 填写高级配置。
    选择所属项目标签

    配置

    说明

    所属项目

    当前创建的 Kafka 实例所属的 IAM 项目。
    如果您尚未创建任何 IAM 项目,或没有合适的 IAM 项目以供选择,可以单击创建新项目创建一个新的 IAM 项目。如果未指定 IAM 项目,消息队列 Kafka版会将新实例添加到名为 default 的 IAM 项目中。
    IAM 项目是火山引擎访问控制(IAM)中的资源分组,每个项目的访问权限策略不同。IAM 支持策略管理功能,您可以将此云账号下多个地域的多种云资源归类到不同的项目中,并为不同的项目创建不同的访问策略,实现云资源的灵活管理。

    标签

    实例的标签。标签用于云资源的标识与分类,您可以将 Kafka 实例通过标签进行归类,便于实例的搜索和资源聚合。详细说明请参考标签概述
    单击添加标签,输入标签键和标签值,为实例添加标签。

  8. 选择计费类型,并单击确认订单
    消息队列 Kafka版支持按量付费和包年包月计费方式,不同的计费类型下,付费方式、价格和收费规则不同。请根据业务需求选择对应的计费类型。

计费类型

说明

按量计费

先使用后付费,每小时出账,方便您按需购买和释放资源。创建按量计费实例后,可以根据业务需求转为包年包月实例。

包年包月

先付费后使用,最短可以按月购买。
选择包年包月后,您需要选择购买时长,并选择是否到期自动续费。启动自动续费后,实例到期前火山引擎会自动扣除账户余额,无需手动操作。

  1. 确认订单详情,阅读并同意相关协议后,单击立即购买
  2. 实例列表页面查看已创建的实例。
    创建实例大约需要 3~15 分钟,请耐心等待。实例状态为运行中,表示实例创建成功。