## 背景新项目涉及大数据方面。之前接触微服务较多,趁公司没反应过来,赶紧查漏补缺。Kafka 是其中之一。Apache Kafka 是一个开源的分布式事件流平台,可跨多台计算机读取、写入、存储和处理事件,并有发布和订阅事... ### Partition 中文件存储Topic 包含若干 partition,partition 中存储若干 segment,segment 包含 .index (存储元数据)、 .log文件 (存储 message) 和 .timeindex 文件 (记录时间信息) 等。 ![partiiton.pn...
Kafka、ClickHouse、Hudi、Iceberg 等大数据生态组件,100%开源兼容,支持构建实时数据湖、数据仓库、湖仓一体等数据平台架构,帮助用户轻松完成企业大数据平台的建设,降低运维门槛,快速形成大数据分析能力。## **产... Apache Hudi 中文社区12月交流会议![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/c2139a535dc54c77a4e2aa4d49068be5~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expir...
Kafka、ClickHouse、Hudi、Iceberg 等大数据生态组件,100%开源兼容,支持构建实时数据湖、数据仓库、湖仓一体等数据平台架构,帮助用户轻松完成企业大数据平台的建设,降低运维门槛,快速形成大数据分析能力。## **产... **### 【活动】Apache Hudi 中文社区技术交流会-第十一期![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/afcddb66744e4600a2e5296c28f08a37~tplv-tlddhu82om-image.image?...
Kafka、ClickHouse、Hudi、Iceberg 等大数据生态组件,100%开源兼容,支持构建实时数据湖、数据仓库、湖仓一体等数据平台架构,帮助用户轻松完成企业大数据平台的建设,降低运维门槛,快速形成大数据分析能力。## **产... Apache Hudi 中文社区12月交流会议![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/c2139a535dc54c77a4e2aa4d49068be5~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expi...
日志服务提供 Kafka 协议消费功能,可以将一个日志主题当作一个 Kafka Topic 来消费,每条日志对应一条 Kafka 消息。您可以使用 Flink kafka 连接器连接日志服务,通过 Flink 任务将日志服务中采集的日志数据消费到下... 只能包含中文、数字、字母、中划线(-)和下划线(_)。 长度在 1~128 个字符内。 可用区 选择需要创建实例的可用区。 版本 兼容 6.7.1 及 7.10.2 Elasticsearch 版本。此处选择 7.10.2 版本为例。 部署节点类型...
以下为您介绍不同接入方式的 Kafka 数据源配置相关信息: 火山引擎 Kafka 接入方式其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。 参数 说明 基本配置 *数据源类型 Kafka *接入方式 火山引擎 Kafka *数据源名称 数据源的名称,可自行设置,仅支持中文,英文,数字,“_”,100个字符以内。 参数配置 *Kafka 实例 ID 下拉选择已在火山引擎消息队列 Kafka 中创建的 Kafka 实例名称信息。若您还未创建 Kafka 实...
调用CreateInstance创建消息队列 Kafka版实例。 使用说明实例是消息队列 Kafka版服务的虚拟机资源,用于管理和存储 Topic、Group 等资源。 注意事项如果是首次创建 Kafka 实例,您需要先完成跨服务访问授权,建议通过... InstanceName String 否 Name123 Kafka 实例的名称。 应符合以下要求: 只能包含中文、字母、数字、下划线(_)和连字符(-)。 不能以数字和连字符(-)开头。 长度范围为 1~128 个字符。 说明 如果创建实例时未指...
调用 CreateKafkaInstance 接口创建 Kafka 实例。 使用说明实例是消息队列 Kafka版服务的虚拟机资源,用于管理和存储 Topic、Group 等资源。 此接口的 API Version 为 2018-01-01。 此接口的调用频率限制为 20 次/s... InstanceName String 可选 kafka Kafka 实例名称。需满足以下要求: 只能包含中文、英文字母、数字、下划线(_)和连字符(-)。 不能以数字或连字符(-)开头。 长度为 0~128 字符。未设置 Kafka 实例名称时,将用实...
日志服务支持 Kafka 数据导入功能,本文档介绍从 Kafka 中导入数据到日志服务的操作步骤。 背景信息日志服务数据导入功能支持将 Kafka 集群的消息数据导入到指定日志主题。Kafka 数据导入功能通常用于业务上云数据迁... 暂不支持中文字符。 手动设置 关闭自动生成功能即手动设置正则表达式。设置后单击立即验证,日志服务会根据已输入的正则表达式匹配日志样例中的内容,提取键值对。页面提示验证成功之后,您可以在提取结果区域设置...
标签用于云资源的标识与分类。消息队列 Kafka版支持为 Topic 添加标签,您可以将 Topic 通过标签进行归类,有利于识别和管理 Topic。 标签设置规则标签的设置规则如下: 限制项 说明 标签键 支持任何语言字母或文字(如中文、英文字母等)、数字、空格;支持特殊字符:_.:/=+-@。 volc: 为系统预留的标签键,添加标签时,标签键的开头不能设置为任何大小写形式的 volc:。 标签键的长度需为 1~128 个字符。 标签值 支持任何语言字母或...
本文介绍消息队列 Kafka版 API 请求的组成结构。 请求URL您可以通过发送 HTTPS POST 请求来调用 Kafka 的 API 服务。HTTPS 请求 URL 的格式如下: POST {URI-scheme}://{Endpoint}/?Action={Action}&Version={Versi... 消息队列 Kafka版的 Content-Type 固定为 application/json。详细的参数列表及说明请参考公共参数。 请求消息体请求消息体主要传递业务相关的其他请求参数。若请求消息体中参数支持中文,则中文字符必须为 UTF-8 编...
创建白名单并绑定白名单和 Kafka 实例后,白名单中配置的 IP 地址或地址段才能访问该实例。本文介绍创建白名单的操作步骤。 注意事项每个火山引擎账号在每个地域下最多创建 100 个白名单。 每个白名单中最多设置 30... 只能包含中文、字母、数字、下划线(_)和连字符(-)。 白名单名称在当前地域下唯一。 描述 白名单的简单描述,长度不可超过 200 个字符。 IP地址 需要添加到白名单中的 IP 地址。配置在白名单中的IP地址与地址段...
本文介绍消息队列 Kafka版 API 请求的组成结构。 请求URL您可以通过发送 HTTPS POST 请求来调用 Kafka 的 API 服务。HTTPS 请求 URL 的格式如下: Bash POST {URI-scheme}://{Endpoint}/?Action={Action}&Version={... 消息队列 Kafka版的 Content-Type 固定为 application/json。详细的参数列表及说明请参考公共参数。 请求消息体请求消息体主要传递业务相关的其他请求参数。若请求消息体中参数支持中文,则中文字符必须为 UTF-8 编...