kafkaaclapi
社区干货
Kafka 消息传递详细研究及代码实现|社区征文
## 背景新项目涉及大数据方面。之前接触微服务较多,趁公司没反应过来,赶紧查漏补缺。Kafka 是其中之一。Apache Kafka 是一个开源的分布式事件流平台,可跨多台计算机读取、写入、存储和处理事件,并有发布和订阅事件流的特性。本文将研究 Kafka 从生产、存储到消费消息的详细过程。 ## Producer### 消息发送所有的 Kafka 服务器节点任何时间都能响应是否可用、是否 topic 中的 partition leader,这样生产者就能发送它的...
聊聊 Kafka:Topic 创建流程与源码分析 | 社区征文
## 一、Topic 介绍Topic(主题)类似于文件系统中的文件夹,事件就是该文件夹中的文件。Kafka 中的主题总是多生产者和多订阅者:一个主题可以有零个、一个或多个向其写入事件的生产者,以及零个、一个或多个订阅这些事件的消费者。可以根据需要随时读取主题中的事件——与传统消息传递系统不同,事件在消费后不会被删除。相反,您可以通过每个主题的配置设置来定义 Kafka 应该保留您的事件多长时间,之后旧事件将被丢弃。Kafka 的性能在...
如何排查消费者无法连接到Kafka问题
# 问题描述在开发和测试过程中,我们可能会遇到无法连接 Kafka 的情况,本文使用 kafka-console-consumer,来模拟几类常见的连接报错# 环境配置* 密码类型选择 Scram参考文档:* https://www.volcengine.co...
字节跳动基于Apache Atlas的近实时消息同步能力优化 | 社区征文
文 | **洪剑**、**大滨** 来自字节跳动数据平台开发套件团队# 背景## 动机字节数据中台DataLeap的Data Catalog系统基于Apache Atlas搭建,其中Atlas通过Kafka获取外部系统的元数据变更消息。在开源版本中,每台服务器支持的Kafka Consumer数量有限,在每日百万级消息体量下,经常有长延时等问题,影响用户体验。在2020年底,我们针对Atlas的消息消费部分做了重构,将消息的消费和处理从后端服务中剥离出来,并编写了Flink任务承担...
特惠活动
kafkaaclapi-优选内容
kafkaaclapi-相关内容
DescribeAcls
使用说明此接口用于查询已创建的 ACL 规则策略,并支持按照部分字段内容做模糊搜索。 请求参数参数 参数类型 是否必选 示例值 说明 InstanceId String 是 kafka-cnoe8qu6hgw1**** 待查询 ACL 的实例 ID。... Acls Array of AclObject / 当前页的查询结果列表。 示例 请求示例JSON POST /?Action=DescribeAcls&Version=2022-05-01 HTTP/1.1Content-Type: application/jsonHost: kafka.volcengineapi.comX-Date: 202...
新功能发布记录
本文介绍了消息队列 Kafka版各特性版本的功能发布动态和文档变更动态。 2024年3月功能名称 功能描述 发布地域 相关文档 Topic 支持标签 支持为 Topic 添加标签,您可以将 Topic 通过标签进行归类,有利于识别和... 2023-10-26 全部地域 自动创建 Topic 白名单管理等 API 正式发布白名单管理、ACL 管理的相关 API 接口。 2023-10-26 全部地域 API 概览 2023年9月功能名称 功能描述 发布时间 发布地域 相关文档 批...
API 概览
实例管理API 说明 CreateInstance 调用 CreateInstance 创建消息队列 Kafka版实例。 ModifyInstanceParameters 调用 ModifyInstanceParameters 接口修改对应实例的参数配置。 ModifyInstanceAttributes ... Kafka SASL 用户。 ModifyUserAuthority 调用 ModifyUserAuthority 接口更改指定 SASL 用户对于所有用户的默认权限。 DescribeUsers 调用 DescribeUsers 接口获取 Kafka SASL 用户列表。 ACL 策略管理API 说...
DeleteAllowList
若白名单已经绑定了 Kafka 实例,则不可直接删除,应解除所有绑定实例之后再进行删除操作。 请求参数参数 参数类型 是否必选 示例值 说明 AllowListId String 是 acl-fda2ed6365b94c909e44198fbbf48bcd 待删除的白名单 ID。 响应参数无 示例 请求示例JSON POST /?Action=DeleteAllowList&Version=2022-05-01 HTTP/1.1Content-Type: application/jsonHost: kafka.volcengineapi.comX-Date: 20210328T100802ZAuthorizatio...
使用前必读
消息队列 Kafka版是一款火山引擎提供的消息中间件服务。Kafka 基于高可用分布式集群技术,提供了高可靠、可扩展、灵活路由的托管消息队列,泛应用于秒杀、流控、系统解耦等场景。 调用说明消息队列 Kafka版提供了全新版本 V2 OpenAPI,您可以通过发送 HTTPS 请求调用消息队列 Kafka版的 V2 API。调用 V2 API 时,您需要向火山引擎消息队列 Kafka版 API 的服务端地址发送 HTTPS 请求,并参考各个业务接口文档,在 HTTPS 请求中填入正确的...
CreateAllowList
调用 CreateAllowList 接口创建一个新的 IP 白名单规则。 使用说明创建白名单并绑定白名单和 Kafka 实例后,白名单中配置的 IP 地址或地址段才能访问该实例。每个火山引擎账号在每个地域下最多创建 100 个白名单。 ... acl-fda2ed6365b94c909e44198fbbf4**** 创建的白名单 ID。 示例 请求示例JSON POST /?Action=CreateAllowList&Version=2022-05-01 HTTP/1.1Content-Type: application/jsonHost: kafka.volcengineapi.comX-Date...
Kafka 概述
1 Kafka 是什么Kafka 最初由 LinkedIn 公司开发,是一个分布式、支持分区(partition)的、多副本(replica)的,基于 ZooKeeper 协调的分布式消息系统。按照最新的官方定义,Kafka 是分布式流平台。关于 Kafka 的更多信息... 3.2 Kafka 的架构拓扑一个典型的 Kafka 集群中包含若干个 producer,若干个 broker,若干个 consumer group。Kafka 有四种核心 API,最常用的两种为: Producer API:发布消息到一个或者多个 Kafka 的 topic Consumer...
快速开始
本文介绍如何快速使用 Volcengine Java SDK 实现基础的 Kafka 实例资源管理流程,包括创建实例、创建 Topic等操作。 前提条件已安装 Volcengine Java SDK。更多信息,请参见安装 Java SDK。 已创建并获取火山引擎访问密钥 AccessKey。访问密钥 AccessKey 拥有所有 API 的全部权限。建议您通过 IAM 用户进行 API 相关操作和日常运维。使用 IAM 用户前,主账号需要为 IAM 用户授予消息队列 Kafka版相关资源和操作的权限。 示例代码 创...
创建 SASL 用户
消息队列 Kafka版兼容开源 Kafka 的 ACL 权限策略,提供 SASL 用户管理功能,您可以按需为 SASL 用户赋予收发消息的权限。本文介绍通过控制台创建 SASL 用户的操作步骤。 背景信息消息队列 Kafka版兼容 ACL 权限策略,支持SASL安全机制,并提供 PLAIN 和 SCRAM 两种类型的 SASL 用户,分别用于 PLAIN 和 SCRAM-SHA-256 机制下生产和消费消息。创建 SASL 用户之后,Kafka 实例会提供 SASL 接入点,通过 SASL 用户名及密码鉴权后才能通过此...
