对此本文将在接下来的内容中以 Kafka 和 RabbitMQ 为例分享消息队列选型的一些经验。消息队列即 Message+Queue,消息可以说是一个数据传输单位,它包含了创建时间、通道/主题信息、输入参数等全部数据;队列(Queue)是一种 FIFO(先进先出)的数据结构,编程语言一般都内置(内存中的)队列实现,可以作为进程间通讯(IPC)的方法。使用队列最常见的场景就是生产者/消费者模式:生产者生产消息放到队列中,消费者从队列里面获取消息消费。典型...
火山引擎ByteHouse技术专家以Kafka和物化MySQL两种实时导入技术为例,介绍了ByteHouse的整体架构演进以及基于不同架构的实时导入技术实现。# 架构整体的演进过程## 分布式架构概述ByteHouse是基于社区ClickHo... 我们再来了解一下社区分布式架构下的实时导入实现,这里以Kafka导入为例。由于分布式架构多shard,每个shard可以独立消费一部分topic partition,可以有天然的并发优势;每个shard内部可以再通过多线程并发执行消费任务...
也就是偏移量(Offset)。在 Kafka 集群内,(Topic, Partition, Offset)这个三元组可以唯一定位一条消息。从用户的角度来看,有两个关键的角色:生产者(Producer)和消费者(Consumer)。生产者负责写消息到 Kafka;消... 之间的负载均衡以及处理该消费组的 Offset 相关请求。 **存储层:*** 每个 Partition 对应分布式存储CloudFS中的一个目录,数据被切分为多个 Segment 文件并存储。 **弹性扩缩容**由于 BMQ...
业务之间容易相互影响。- 资源使用效率低:如果配置的资源是固定的,在突发场景下容易造成性能不足的问题;但如果配置的资源过多,普通场景下资源利用率就会很低;不同的组件配置不均衡还会导致性能瓶颈浪费资源。ES 的原始数据和索引使用相同的资源配置,也会导致高成本。 - 功能不足:比如 ES 的投递和消费能力弱、分析能力固化、没有告警能力、可视化能力有限。## 火山引擎统一日志平台 TLS在遇到这些问题以后,我们研发了一套...
对此本文将在接下来的内容中以 Kafka 和 RabbitMQ 为例分享消息队列选型的一些经验。消息队列即 Message+Queue,消息可以说是一个数据传输单位,它包含了创建时间、通道/主题信息、输入参数等全部数据;队列(Queue)是一种 FIFO(先进先出)的数据结构,编程语言一般都内置(内存中的)队列实现,可以作为进程间通讯(IPC)的方法。使用队列最常见的场景就是生产者/消费者模式:生产者生产消息放到队列中,消费者从队列里面获取消息消费。典型...
本文介绍通过方案一将开源 Kafka 集群迁移到火山引擎消息队列 Kafka版的操作步骤。 注意事项业务迁移只迁移消息生产、消费链路和业务流量,并不会迁移 Kafka 旧集群上的消息数据。 创建Kafka实例、迁移消息收发链路... 1.1 迁移评估根据现有业务量和消息量估算所需的消息队列 Kafka版资源,例如业务读写流量峰值、磁盘容量和分区数等。不同规格的 Kafka 实例代表不同的计算能力及存储空间,请根据业务量合理评估资源需求。 1.2 准备相...
本文介绍通过方案二将开源 Kafka 集群迁移到火山引擎消息队列 Kafka版的操作步骤。 注意事项业务迁移只迁移消息生产、消费链路和业务流量,并不会迁移 Kafka 旧集群上的消息数据。 创建 Kafka 实例、迁移消息收发链... 1.1 迁移评估根据现有业务量和消息量估算所需的消息队列 Kafka版资源,例如业务读写流量峰值、磁盘容量和分区数等。不同规格的 Kafka 实例代表不同的计算能力及存储空间,请根据业务量合理评估资源需求。 1.2 准备相...
并发子任务数量 日志服务会根据 Kafka Topic 数量,创建多个子任务进行并发导入。 Kafka Topic 数量超过 2,000 时,日志服务会创建 16 个子任务。 Kafka Topic 数量超过 1,000 时,日志服务会创建 8 个子任务。 Kafka Topic 数量超过 500 时,日志服务会创建 4 个子任务。 Kafka Topic 数量小于等于 500 时,日志服务会创建 2 个子任务。 数据导入配置数量 单个日志项目中,最多可创建 100 个不同类型的数据导入配置。 费用说明...
再通过消费管道供下游应用进行消费。日志服务支持通过 Kafka 协议上传和消费日志数据,基于 Kafka 数据管道提供完整的数据上下行服务。使用 Kafka 协议上传日志功能,无需手动开启功能,无需在数据源侧安装数据采集工... (props); // 2.调用send方法 for (int i = 0; i < 1000; i++) { // java sdk不区分发送一条消息还是批量发送消息,通过配置文件做区分,主要是通过batch.size, linger.ms, buffer.memory ...
火山引擎ByteHouse技术专家以Kafka和物化MySQL两种实时导入技术为例,介绍了ByteHouse的整体架构演进以及基于不同架构的实时导入技术实现。# 架构整体的演进过程## 分布式架构概述ByteHouse是基于社区ClickHo... 我们再来了解一下社区分布式架构下的实时导入实现,这里以Kafka导入为例。由于分布式架构多shard,每个shard可以独立消费一部分topic partition,可以有天然的并发优势;每个shard内部可以再通过多线程并发执行消费任务...
即分区分裂后,所有分区的最大数量。取值范围为 1~10,默认为 10。 描述 日志主题的简单描述。 开通 Kafka 协议消费。 在项目详情页面的日志主题区域,单击日志主题名称,进入日志主题详情页面。 在日志主题详情页... 节点规格:不同规格包含不同的 CPU 核数和内存,请根据业务需求选择合理的节点规格。 存储类型:目前仅支持 ESSD-PL0。 存储规格:设置存储规格,范围为 20~10000 GiB。 节点数量:根据业务需求设置节点的数量。 说明 不...
也就是偏移量(Offset)。在 Kafka 集群内,(Topic, Partition, Offset)这个三元组可以唯一定位一条消息。从用户的角度来看,有两个关键的角色:生产者(Producer)和消费者(Consumer)。生产者负责写消息到 Kafka;消... 之间的负载均衡以及处理该消费组的 Offset 相关请求。 **存储层:*** 每个 Partition 对应分布式存储CloudFS中的一个目录,数据被切分为多个 Segment 文件并存储。 **弹性扩缩容**由于 BMQ...
即分区分裂后,所有分区的最大数量。取值范围为 1~10,默认为 10。 描述 日志主题的简单描述。 开通 Kafka 协议消费。在项目详情页面的日志主题区域,单击日志主题名称,进入日志主题详情页面。 在日志主题详情页... 节点规格:不同规格包含不同的 CPU 核数和内存,请根据业务需求选择合理的节点规格。 存储类型:目前仅支持 ESSD-PL0。 存储规格:设置存储规格,范围为 20~10000 GiB。 节点数量:根据业务需求设置节点的数量。 说明 不...