Kafka节点之间使用TLS进行授权
社区干货
Logstash 如何通过 Kafka 协议消费 TLS 日志
# **问题现象**如何通过修改 Logstash 配置文件,实现通过 Kafka 协议消费日志到其他业务系统。# 问题分析TLS 日志服务支持通过 Logstash 消费日志数据,您可以通过配置 Logstash 服务内置的 logstash-input-kafk... 建议使用 IAM 用户的 AK,且 IAM 用户应具备 Action PutLogs 的权限。详细信息请参考[可授权的操作](https://www.volcengine.com/docs/6470/103038)。 || hosts | 初始连接的集群地址,格式为`服务地址:端口号`,例如...
如何排查消费者无法连接到Kafka问题
# 问题描述在开发和测试过程中,我们可能会遇到无法连接 Kafka 的情况,本文使用 kafka-console-consumer,来模拟几类常见的连接报错# 环境配置* 密码类型选择 Scram, (3) Transient network issue. (org.apache.kafka.clients.NetworkClient)```出现此报错,建议检查您的客户端 IP 是否在白名单中,...
学习 SSL/TLS ,这一篇就够了
是整个 TLS 握手信任的锚点。CA 证书又被称为数字证书,证书主要包含证书拥有者的身份信息,CA 机构的签名,公钥和私钥。CA 证书预埋在操作系统信任的库中,是一串能够表明网络用户身份信息的数字,用 CA 证书的私钥为 CSR 签名,可以签发 SSL 证书。SSL 证书是一个数字证书,用于认证网站的身份并启用加密连接。SSL 代表安全套接字层,这是一个安全协议,可在 Web 服务器和 Web 浏览器之间创建加密连接。关于 CA 证书和 SSL 证书之间...
云原生环境下的日志采集、存储、分析实践
或者通过 Kafka 协议投递到其他云产品。如果用户有更高阶的分析需求,TLS 也支持把日志消费到实时计算、流式计算或离线计算进行更深入的分析。TLS 的系统设计遵循高可用、高性能、分层设计的原则。- 高可用:通过存算分离,所有服务都是无状态的,故障快速恢复。- 高性能:所有集群都可横向扩展,没有热点。- 分层设计:各模块之间低耦合,模块之间定义标准接口,组件可替换。以上就是火山引擎自研的日志存储平台 TLS 的系统架构,...
特惠活动
Kafka节点之间使用TLS进行授权-优选内容
Kafka节点之间使用TLS进行授权-相关内容
跨服务访问
首次使用消息队列 Kafka版之前,您需要进行跨服务授权,允许消息队列 Kafka版访问当前账号下的其他服务资源,例如 VPC 等。本文介绍跨服务访问授权的相关操作步骤。 注意事项仅首次创建 Kafka 实例之前需要进行跨服务访问授权,完成授权后 Kafka 可以持续访问其他服务中的资源,直至删除服务关联角色。 服务关联角色的权限由系统生成,无法变更权限。若您需要取消授权,请删除角色。 建议通过火山引擎主账号完成跨服务访问授权,否则 IAM...
OpenKafkaConsumer
可以将日志主题作为 Kafka 的 Topic 进行消费,每条日志对应一条 Kafka 消息。通过 Kafka 协议消费日志具体方式和配置请参考通过 Kafka 协议消费日志。此接口调用频率限制为 20 次/s,超出频率限制会报错 ExceedQPSLimit。 说明 消费日志时会产生私网或公网的读流量。价格信息请参考计费指引。 关闭 Kafka 协议消费功能 2 分钟后,才能再次开启该功能。 请求说明请求方式:PUT 请求地址:https://tls-{Region}.ivolces.com/OpenKafka...
可授权的资源和操作
通过 IAM 的权限管理功能,您可以对消息队列 Kafka版的实例资源进行部分操作的授权。 可授权的资源在支持按资源为用户配置权限的接口中,可以通过资源授权管理 IAM 用户在不同资源中的数据访问权限。消息队列 Kafka版通过 IAM 访问控制支持的授权资源类型如下。 说明 $region、$account 等变量参数需修改为您实际的参数信息。 资源类型 权限说明 资源描述方法 Kafka 实例(instance) 指定 Instance 或所有 Instance 的权限。 ...
投递日志到消息队列 Kafka版
首次使用日志投递到 Kafka 功能之前,需要完成云资源访问授权,即授予日志服务产品访问并写入 Kafka 实例的权限。日志服务会在控制台创建投递配置时引导您进行操作,推荐使用火山引擎账号进行授权,相关说明请参考跨服... 需要指定投递到 Kafka 实例的日志数据是否转义。 转义:如果 JSON 第一层节点中,有字段的值为 JSON Array 或其他格式,日志服务会将其值通过转义符(\)转为 String 格式,只保留一层节点。便于后续大数据系统或流式计算...
创建实例
应用接入消息队列 Kafka版之前,需要在控制台创建 Kafka 实例。消息队列 Kafka版提供多种实例规格,对应不同的计算能力和存储空间,您可以根据实际业务需求选择不同的实例规格。本文介绍创建 Kafka 实例的操作步骤。 前提条件如果是首次创建 Kafka 实例,您需要先完成跨服务访问授权,建议通过火山引擎主账号操作。详细说明请参考跨服务访问授权。 如果需要通过私有网络访问消息队列 Kafka版实例,请先在相同地域创建 ECS 云服务器、私...
CreateInstance
调用CreateInstance创建消息队列 Kafka版实例。 使用说明实例是消息队列 Kafka版服务的虚拟机资源,用于管理和存储 Topic、Group 等资源。 注意事项如果是首次创建 Kafka 实例,您需要先完成跨服务访问授权,建议通过... 消息队列 Kafka版实例支持跨AZ部署,查看指定可用区下提供哪些计算规格时,可以指定多个可用区。多个可用区ID之间以逗号(,)间隔。您可以调用 DescribeAvailabilityZones 查询当前提供服务的可用区列表。 Version S...
CloseKafkaConsumer
调用 CloseKafkaConsumer 关闭指定日志主题的 Kafka 协议消费功能。 使用说明停止消费后,您可以调用此接口关闭 Kafka 协议消费功能。此接口调用频率限制为 20 次/s,超出频率限制会报错 ExceedQPSLimit。 请求说明请求方式:PUT 请求地址:https://tls-{Region}.ivolces.com/CloseKafkaConsumer 请求参数下表仅列出该接口特有的请求参数和部分公共参数。更多信息请见公共参数。 Body参数 类型 是否必选 示例值 描述 TopicId String ...
管理 Kafka 投递配置
成功创建日志投递配置后,您可以在投递配置列表查看并管理 Kafka 投递配置,例如修改投递配置,暂停或启动日志投递等。 修改投递配置成功创建投递配置后,您可以在日志投递页面的投递配置列表中查看投递配置的基本信息... 在Kafka 投递配置页签中找到指定的投递配置,并在其对应的投递状态列开启或关闭此配置。 查看日志投递状态日志投递功能对应的任务执行进度与状态均以日志形式记录在服务日志中,您可以在名为 tls_service-project ...
创建资源
本文将为您介绍消息队列 Kafka版控制台创建 Kafka 实例和 Topic 的操作步骤。 准备工作已开通消息队列 Kafka版,并进行了相关环境准备。创建的 Kafka 实例运行于私有网络中,在创建前确保已存在可用的私有网络和子网,详情请参见环境准备。 如果需要通过公网访问实例,请先申请同地域的 EIP,详细操作步骤请参考申请公网IP。 1 创建实例说明 如果是首次创建 Kafka 实例,您需要先完成跨服务访问授权,建议通过火山引擎主账号操作。详细说...
