kafka从api读取数据

消息队列 Kafka版提供以下相关API 接口。 实例管理API 说明 ListKafkaConf 调用 ListKafkaConf 接口获取消息队列 Kafka版支持的相关配置。 CreateKafkaInstance 调用 CreateKafkaInstance 接口创建Kafka实例。 DeleteKafkaInstance 调用 DeleteKafkaInstance 接口删除Kafka实例。 DescribeInstanceDetail 调用 DescribeInstanceDetail 接口获取指定Kafka实例的详细信息。 DescribeInstancesSummary 调用 DescribeInstancesSumm...

Kafka Broker。 Consumer 消息消费者,向 Kafka Broker 读取消息的客户端。 Consumer Group 管理一组 consumer 实例,每个 consumer 属于一个特定的 consumer group。 3.2 Kafka 的架构拓扑一个典型的 Kafka 集群中包含若干个 producer,若干个 broker,若干个 consumer group。Kafka 有四种核心 API,最常用的两种为: Producer API:发布消息到一个或者多个 Kafka 的 topic Consumer API:订阅一个或者多个 Kafka topic,并对数据进行处...

实例管理API 说明 CreateInstance 调用 CreateInstance 创建消息队列 Kafka版实例。 ModifyInstanceParameters 调用 ModifyInstanceParameters 接口修改对应实例的参数配置。 ModifyInstanceAttributes ... DescribeInstances 调用 DescribeInstances 接口获取当前账户下的实例列表。 DescribeInstanceDetail 调用 DescribeInstanceDetail 接口查看指定实例的详情。 DeleteInstance 调用 DeleteInstance 接口释放...

Kafka Topic 中获取数据,作为作业的输入数据;也可以通过 Kafka 结果表将作业输出数据写入到 Kafka Topic 中。 注意事项使用 Flink SQL 的用户需要注意,不再支持 kafka-0.10 和 kafka-0.11 两个版本的连接器,请直接使用 kafka 连接器访问 Kafka 0.10 和 0.11 集群。Kafka-0.10 和 Kafka-0.11 两个版本的连接器使用的 Kafka 客户端有缺陷,在某些情况下可能无法自动提交 Kafka offset 信息。 使用 datastream API 开发的用户需要注意...