confluokafka-优选内容
默认接入点收发消息
本文以 Go 客户端为例,介绍如何在 VPC 环境下通过默认接入点(PLAINTEXT)接入消息队列 Kafka版,并收发消息。 前提条件 已完成准备工作。详细说明请参考准备工作。 1 添加配置文件 创建消息队列 Kafka版配置文件 config.json。配置文件字段的详细说明,请参考配置文件。 使用默认接入点时,配置文件示例如下。 说明 请根据注释提示填写相关参数,并删除注释。 json { "bootstrap.servers": "xxxxx", // 修改配置为实例的默认接入点 ...
默认接入点收发消息
2 添加配置文件 创建消息队列 Kafka版配置文件 config.properties。配置文件字段的详细说明,请参考 配置文件 。使用默认接入点时,配置文件示例如下。 Java bootstrap.servers=xxxxxsecurity.protocol=PLAINTEXTtopic=my-topicconsumer.group.id=testconsumer.auto.offset.reset=earliestconsumer.enable.auto.commit=false 创建配置文件加载程序 KafkaConfigurer.java。 Java package com.volcengine.openservice.kafka;imp...
ScaleKafkaInstance
调用 ScaleKafkaInstance 更改实例规格。 使用说明 说明 调用此接口前,请确认实例状态为运行中(Running)。 目前仅支持升级实例配置,不支持降级计算规格或缩容存储空间。 不同计算规格对应不同的存储空间范围,升级实... 您可以通过 ListKafkaConf 接口查看各个实例需要的公网IP数量。 PartitionOfBuy Integer 可选 900 Kafka 实例的分区数量,请根据业务需求合理设置分区数。不同规格提供数量不同的免费分区额度,超过免费额度的...
默认接入点收发消息
本文以 Python 客户端为例,介绍如何在 VPC 环境下通过默认接入点(PLAINTEXT)接入消息队列 Kafka版,并收发消息。 前提条件 已完成准备工作。详细说明请参考准备工作。 1 添加配置文件 创建消息队列 Kafka版配置文件 config.json。配置文件字段的详细说明,请参考SDK 配置说明。使用默认接入点时,配置文件示例如下。 说明 请根据注释提示填写相关参数,并删除注释。 JSON { "bootstrap.servers": "xxxxx", // 修改配置为实例的默认...
confluokafka-相关内容
如何使用Nginx代理访问VPC内的自建Kafka
前言 对于一些自建在VPC内的Kafka有暴露到外网的需求,那么我们就可以通过Nginx代理来做四层代理,转发请求。 关于实验 预计部署时间:30分钟级别:初级相关产品:同VPC内的ECS两台(1台做Nginx代理,1台做Kafka Server... /configure --with-stream make && make install2.检查运行Nginx是否有启动stream模块 undefined [root@JMS conf.d] nginx -V 2>&1 grep streamconfigure arguments: --prefix=/etc/nginx --sbin-path=/usr/sbin/n...
API 概览
消息队列 Kafka版提供以下相关API 接口。 实例管理 API 说明 ListKafkaConf 调用 ListKafkaConf 接口获取消息队列 Kafka版支持的相关配置。 CreateKafkaInstance 调用 CreateKafkaInstance 接口创建Kafka实例。 DeleteKafkaInstance 调用 DeleteKafkaInstance 接口删除Kafka实例。 DescribeInstanceDetail 调用 DescribeInstanceDetail 接口获取指定Kafka实例的详细信息。 DescribeInstancesSummary 调用 DescribeInstancesSum...
使用 Kafka 协议上传日志
日志服务支持通过 Kafka 协议上传日志数据到服务端,即可以使用 Kafka Producer SDK 来采集日志数据,并通过 Kafka 协议上传到日志服务。本文介绍通过 Kafka 协议将日志上传到日志服务的操作步骤。 背景信息 Kafka 作... 例如/etc/kafka_client_jaas.conf。 在 JAAS 文件中添加以下内容。其中 username 和 password 为 Kafka SASL 用户的用户名和密码。 KafkaClient { org.apache.kafka.common.security.plain.PlainLoginModule re...
默认接入点收发消息
{ rd_kafka_topic_t *rkt; char *brokers = NULL; char *topic = NULL; char *user = NULL; char *password = NULL; char *mechanisms = NULL; int partition = RD_KAFKA_PARTITION_UA; int opt; rd_kafka_conf_t *conf; char errstr[512]; char tmp[16]; rd_kafka_resp_err_t err; bool printUsage = true; /* Kafka configuration */ conf = rd_kafka_conf_new(); /* S...
使用Logstash消费Kafka中的数据并写入到云搜索
前言 Kafka 是一个分布式、支持分区的(partition)、多副本的(replica) 分布式消息系统, 深受开发人员的青睐。 云搜索服务是火山引擎提供的完全托管的在线分布式搜索服务,兼容 Elasticsearch、Kibana 等软件及常用... /logstash -f /root/logstash.conf步骤三:生产消息 您可以使用 Kafka 提供的 console consumer 来生产消息,使用命令如下: [root@rudonx kafka_2.11-2.2.2] pwd/root/kafka_2.11-2.2.2[root@rudonx kafka_2.11-2.2....
SASL 接入点 SCRAM 机制收发消息
本文以 Python 客户端为例,介绍如何在 VPC 环境下通过 SASL 接入点 SCRAM 机制接入消息队列 Kafka版,并收发消息。 前提条件 已完成准备工作。详细说明请参考准备工作。 1 添加配置文件 创建消息队列 Kafka版配置文件 config.json。配置文件字段的详细说明,请参考SDK 配置说明。通过 SASL 接入点 SCRAM 机制接入时,配置文件示例如下。 说明 请根据注释提示填写相关参数,并删除注释。 SCRAM 机制下,应使用具备对应 Topic 访问权限的...
SASL 接入点 SCRAM 机制收发消息
2 添加配置文件 创建消息队列 Kafka版配置文件 config.properties。配置文件字段的详细说明,请参考 配置文件 。通过 SASL 接入点 SCRAM 机制接入时,配置文件示例如下。 说明 SCRAM 机制下,应使用具备对应 Topic 访问权限的 SCRAM 用户进行 SASL 认证。您可以在消息队列 Kafka版控制台中,对应实例的用户管理页面查看 SASL 用户列表。 YAML bootstrap.servers=xxxxxsecurity.protocol=SASL_PLAINTEXTtopic=my-topicconsumer.g...