You need to enable JavaScript to run this app.
导航
快速开始
最近更新时间:2022.12.21 11:34:52首次发布时间:2022.12.21 11:34:52

本文为您介绍如何在火山引擎 E-MapReduce(EMR) 快速开始您的 Pulsar 探索之旅。请参考下面的步骤,在火山引擎 EMR 中创建一个 Pulsar 集群,并开始尝试 Pulsar 的各项功能吧。

1 创建一个 Pulsar 集群

您可以方便地在火山引擎 EMR 的管理控制台中创建一个 Pulsar 集群。具体操作步骤如下:

  1. 登录 EMR 控制台

  2. 在顶部菜单栏中,根据实际场景,下拉选择地域和项目空间。

  3. 在总览界面,单击创建集群,进入集群创建页面。

  4. 在创建集群页面,选择分析场景实时计算集群类型Pulsar

  5. 根据需要配置其它的集群创建选项,确认无误后,点击立即创建,提交创建集群。

详见创建集群
创建集群的指令提交后,可以在集群管理 > 集群列表中,找到刚刚提交创建的集群。进入集群详情页,可以查看集群创建的进度和操作日志。
Pulsar 集群中包含三个服务:ZooKeeper、BookKeeper、Pulsar。在集群初始化的过程中,上述三个服务会依次启动,等待集群状态变更为运行中,说明集群已经创建成功了。这时您便可以开始尝试火山引擎 EMR Pulsar 集群类型的各项功能了。

2 通过命令行生产、消费数据,并查看 Pulsar 的运行日志

Pulsar 集群创建成功且正常运行后,可以使用 Pulsar 的各项功能了。一种快速使用、验证 Pulsar 功能的方式是通过命令行模式生产消息,并消费生产出来的消息,查看 Pulsar 的运行日志。具体操作步骤如下:

  1. 单击集群列表 > 服务列表 > Pulsar > 部署拓扑页签,进入 Pulsar 集群服务的部署拓扑。

  2. 单击任一组件名称下 (emr-master-1 主机名称)的 ECS ID,跳转进入到云服务器的实例界面,点击右上角的远程连接按钮,并选择一种远程连接方式(推荐选择 ECS Terminal),并输入集群相关认证信息,登录到 Pulsar 集群的一台主机的命令行环境中,以执行命令行操作。

  3. 在 Pulsar 集群某台主机的命令行终端中,切换当前工作目录到 Pulsar 程序的主目录:

    cd /usr/lib/emr/current/pulsar
    
  4. 通过 Pulsar Client 程序,尝试消费一个主题的数据:

    bin/pulsar-client consume \
      persistent://public/default/test \
      -n 100 \
      -s "consumer-test" \
      -t "Exclusive"
    

    此命令的含义是:消费持久化消息。各参数解释如下:

    参数说明
    pulsar-client consume消费主题数据命令
    publicPulsar 系统默认的租户:public。
    defaultPulsar 系统默认的名字空间:default。
    test消费对象的主题名称,若该主题不存在,Pulsar 会自动创建该主题。
    -n消费的数据条数,例如此命令中消费 100 条数据。
    -s消费对应的订阅名称,例如此命令中的订阅名称为 consumer-test
    -t订阅类型,有四种可订阅的类型:独占类型(exclusive)、共享类型(shared)、容错类型(failover)、共享 key 类型(key_shared)。此命令中订阅类型为Exclusive(独占的)。

    命令执行后,命令行终端会显示相应的消费信息,并等待新消息进入主题供消费。若有新消息被生产到主题中,在消费对应的命令行终端会显示出这条刚刚生产出来的新消息。

  5. 保持上面的消费数据的命令行终端不动,令其处于等待新消息进入主题的状态,然后参考上述步骤 2 - 3,再启动一个远程连接登录,登录到 Pulsar 集群中某节点的命令行终端,并切换工作目录到 Pulsar 程序的主目录。

  6. 在新开启的命令行终端,通过 Pulsar Client 程序,尝试向刚才准备消费数据的主题中生产一条数据:

    bin/pulsar-client produce \
      persistent://public/default/test \
      -n 1 \
      -m "Hello Pulsar"
    

    这条命令的含义是:生产 1 条内容为 "Hello Pulsar" 的持久化消息到 public 租户的 default 名字空间的 test 主题。命令执行后,命令行终端会显示相应的生产信息,并提示消息生产成功。

  7. 切换回消费数据的命令行终端,可以观察到命令行终端中出现了刚刚生产出来的 "Hello Pulsar" 消息。至此本次生产、消费的尝试成功了,可以停止消费消息的进程。

  8. 您可以查看 Pulsar 的运行日志。Pulsar 是分布式系统,在 BookKeeper、Pulsar Broker 等进程所在的节点中都有对应的运行日志。Pulsar 运行日志所在的目录是:/var/log/emr/pulsar。可以进入集群各个节点的上述目录查看 Pulsar 的运行日志。

完成上述步骤后,您已经成功尝试完成了 Pulsar 的最基本的生产、消费功能的试用以及运行日志的查看。接下来可以更深入地探索并使用 Pulsar 了。

3 通过 Pulsar Manager UI 管理 Pulsar 集群

从 EMR-3.1.0 版本开始,Pulsar 集群类型中默认集成 Pulsar Manager 组件,支持用户通过 UI 界面管理 Pulsar 集群。

3.1 操作前提

  1. 已创建类型为 Pulsar 的集群,且集群版本为 EMR-3.1.0 及以上。详见创建集群

  2. 集群的访问链接需要 emr-master-1 节点的 ECS ID 实例绑定弹性公网IP。详见绑定公网IP

  3. 需要在集群详情 > 访问链接 > 快速配置服务端口中,给源地址和对应端口添加白名单才可继续访问。

3.2 进入 Pulsar Manager UI 界面

进入 Pulsar Manager 的方法:

  1. 进入 Pulsar 集群的集群详情页,点击访问链接选项卡。

  2. 通过访问链接中提供的 Pulsar Manager 地址,访问 Pulsar Manager UI。

4 进一步使用 Pulsar

尝试过 Pulsar 的基本使用后,您可以进一步探索 Pulsar。可以参考 Pulsar 的官方网站学习更多的使用方法:https://pulsar.apache.org/
火山引擎 EMR 的文档中后续也会加入更多的材料,敬请期待。