# **问题现象**如何通过修改 Logstash 配置文件,实现通过 Kafka 协议消费日志到其他业务系统。# 问题分析TLS 日志服务支持通过 Logstash 消费日志数据,您可以通过配置 Logstash 服务内置的 logstash-input-kafk... 建议使用 IAM 用户的 AK,且 IAM 用户应具备 Action PutLogs 的权限。详细信息请参考[可授权的操作](https://www.volcengine.com/docs/6470/103038)。 || hosts | 初始连接的集群地址,格式为`服务地址:端口号`,例如...
OpenTelemetry 和 Kafka 协议上传日志。支持多种类型的终端、多种开发语言以及开源生态标准协议。采集到的日志首先会存入高速缓冲集群,削峰填谷,随后日志会匀速流入存储集群,根据用户配置再流转到数据加工集群进... 火山引擎上 Web 配置由 OP 来负责,容器自动化采集是用 CRD 的方式,一般是 RD 负责。*Q2:采集端 Agent 的使用资源可以限制吗?是否会影响业务的资源使用?*A:CPU 占用量、内存占用量这些是可以配置的,不会影响业务...
OpenTelemetry 和 Kafka 协议上传日志。支持多种类型的终端、多种开发语言以及开源生态标准协议。采集到的日志首先会存入高速缓冲集群,削峰填谷,随后日志会匀速流入存储集群,根据用户配置再流转到数据加工集群进... A:日志采集的中心化配置是 Web 方式,配置非常简单,无论是 RD 或是 OP 负责都可以。火山引擎上 Web 配置由 OP 来负责,容器自动化采集是用 CRD 的方式,一般是 RD 负责。Q:采集端 Agent 的使用资源可以限制吗?是否会...
新增应用:Kafka连接器新增应用:Airtable **应用更新**更新应用:企业微信(代开发)更新应用:易快报 更新应用:每刻报销 更新应用:北森 更新应用:有赞商城(第三方... 选填字段默认折叠展示在下方。当用户需要使用选填字段时,可以通过点击按钮添加需要的字段。详细文章见:[【新增功能】选填字段自动分类折叠——让字段配置更高效](http://mp.weixin.qq.com/s?__biz=Mzg5MjcxOD...
托管 Prometheus 服务提供基于 exporter 的方式来监控 Kafka 运行状态,本文为您介绍如何在集群中部署 kafka-exporter,并实现对 Kafka 的监控。 前提条件已注册并开通火山引擎容器服务(VKE)。 已创建托管 Prometheu... kafka-exporter 根据业务需要调整成对应的名称,建议加上 Kafka 实例的信息 spec: containers: - args: - --kafka.server=x.x.x.x:9092 配置 Kafka 实例的地址和端口号 image: dan...
默认情况下可以通过 VPC 内访问 Kafka 实例,开启公网访问功能之后,还可以通过公网访问实例。两种网络类型均可以通过 SASL_PLAINTEXT 接入点进行接入。如果公网环境下访问实例需要通过 SSL 认证,推荐选择 SASL_SSL 接入点,详细接入方式请参考使用 SASL_SSL 接入点连接实例。 前提条件已获取 SASL_PLAINTEXT 接入点信息,包括连接地址和端口号。详细信息请参考查看接入点。 已创建 Topic。操作步骤请参考创建Topic。 如果通过公网访...
本文将为您介绍火山引擎 E-MapReduce(EMR)kafka 组件相关的高阶使用,方便您更深入的使用 Kafka。 扩容 您可以在 EMR 控制台的集群管理页面,进行 Kafka 集群的扩容操作。开源 Kafka 扩容新的 broker 后,流量不会自动... Kafka 集群在创建时如果给 Broker 所在的 Core 节点组绑定了公网 IP,会自动配置 Kafka Broker 的 advertised.listeners 等参数,使 Kafka Broker 可以通过公网 IP(端口号:19092)和内网地址(端口号:9092)访问。在 ...
password Kafka SASL 用户密码。应配置为火山引擎账户密钥。格式为 ${access-key-id}${access-key-secret},其中: ${access-key-id} 应替换为您的 AccessKey ID。 ${access-key-secret} 应替换为您的 AccessKey Secret。 说明 建议使用 IAM 用户的 AK,且 IAM 用户应具备 Action ConsumeLogs 的权限。详细信息请参考可授权的操作。 hosts 初始连接的集群地址,格式为服务地址:端口号,例如 tls-cn-beijing.ivolces.com:9093,其...
2 Kafka 节点部署说明在 Kafka 集群中,Kafka Broker 部署在集群的 Master/Core 节点中,而 ZooKeeper 共三个节点,部署在集群的 Master 和 2 个 Core 节点中。在集群初始化的过程中,Kafka 集群的各个服务便会依次启... 系统会自动把相关的公网 IP 配置信息写入到 Kafka Broker 的 advertised.listeners 服务参数中。这时 Kafka Broker 可以通过公网 IP(端口号:19092)和内网地址(端口号:9092)访问。 3.1.2 创建集群成功后,再绑定公网...
初始连接的集群地址,格式为服务地址:端口号,例如 tls-cn-beijing.ivolces.com:9094,其中: 服务地址为当前地域下日志服务的服务入口。请根据地域和网络类型选择正确的服务入口,详细信息请参见服务地址。 端口号固定为 9094。 说明 hosts 中的服务地址部分无需指定 https://。 topic 20a50a35-304a-4c01-88d2-23349c30**** 配置为日志服务的日志主题 ID。 配置步骤日志服务支持自动生成 Kafka 协议上传日志数据的相关参数配置...
消息队列 Kafka版支持通过 SSL 证书对消息进行鉴权和加密,保障数据传输过程的安全性,防止数据在网络传输过程中被截取或者窃听,相较于普通访问方式具备更高的安全性。目前支持客户端对服务端证书的单向认证。 前提条件已获取 SASL_SSL 接入点信息,包括连接地址和端口号。详细信息请参考查看接入点。 已创建 Topic。操作步骤请参考创建 Topic。 如果通过公网访问实例,建议实例绑定的 EIP 带宽上限大于预估的公网业务流量峰值。详...
专有网络 VPC 为 Kafka 实例构建隔离的、自主配置和管理的虚拟网络环境,消息可以采用 PLAINTEXT 协议在安全的网络通道不加密传输。通过 VPC 方式访问实例时,您需要在同一地域下的火山引擎云服务器 ECS 搭建开发环境,部署客户端,或通过云企业网等方式将不同地域下的 ECS 打通,实现网络互通。在 VPC 网络下,消息队列Kafka版提供默认接入点、SASL_SSL 接入点和 SASL_PLAINTEXT 接入点供您选择。 默认接入点无需身份认证,配置接入点...
本文将为您介绍消息队列 Kafka版控制台创建 Kafka 实例和 Topic 的操作步骤。 准备工作已开通消息队列 Kafka版,并进行了相关环境准备。创建的 Kafka 实例运行于私有网络中,在创建前确保已存在可用的私有网络和子网... Kafka 实例会提供 SASL 接入点,通过 SASL 用户名及密码鉴权后才能通过此接入点登录 Kafka 实例。 说明 通过默认接入点,不使用 SASL 用户名和密码访问实例,可以忽略本步骤。 创建实例时已同步创建了 SASL/PLAIN 类型...