新手如何对接Kafkajs与Socket.io,将聊天内容替换Kafka测试消息
KafkaJS + Socket.io 聊天应用集成实现
核心链路逻辑
完整的消息流转路径和原有的测试逻辑相比,只需要把原有的“定时生成测试消息”和“收到消息直接控制台打印”的环节替换掉,串起前端、Socket服务、Kafka三个模块:
- 前端浏览器输入消息,触发Socket.io的
chat事件把消息发到服务端 - 服务端收到消息后,不再直接广播给所有客户端,而是调用Kafka Producer接口,把真实消息投递到
message-logtopic - Kafka Consumer监听到topic内的新消息后,通过Socket.io把消息广播给所有在线客户端,完成消息展示
- 原有的typing状态提示逻辑因为不需要走Kafka流程,可以完全保留不动
分步改造代码
1. 改造原有Producer模块
移除原代码里setInterval定时发测试消息、自增序号的逻辑,抽离出两个可被外部调用的独立方法:一个用来连接Kafka,一个用来接收真实聊天消息并投递。
改造后的producer.js代码:
const { Kafka } = require("kafkajs") const clientId = "my-app" const brokers = ["localhost:9092"] const topic = "message-log" const kafka = new Kafka({ clientId, brokers }) const producer = kafka.producer() // 服务启动时调用一次,完成Kafka Producer连接 const connectProducer = async () => { await producer.connect() console.log("Kafka Producer 连接成功") } // 接收前端传来的真实聊天消息,投递到Kafka const sendChatMessage = async (messageData) => { try { await producer.send({ topic, messages: [ { // 用用户名作为消息key,同个用户的消息会路由到同一Kafka分区 key: messageData.username, // 将JSON格式的聊天对象序列化后存入Kafka value: JSON.stringify(messageData) } ] }) } catch (err) { console.error("Kafka消息发送失败: ", err) } } module.exports = { connectProducer, sendChatMessage
2. 改造原有Consumer模块
移除原代码里“收到消息只打印控制台”的逻辑,把Socket.io的实例传入Consumer模块,收到Kafka消息后直接广播给前端。
改造后的consumer.js代码:
const { Kafka } = require("kafkajs") const clientId = "my-app" const brokers = ["localhost:9092"] const topic = "message-log" const kafka = new Kafka({ clientId, brokers }) const consumer = kafka.consumer({ groupId: clientId }) // 传入io实例,用来给所有前端客户端广播消息 const startConsume = async (io) => { await consumer.connect() await consumer.subscribe({ topic }) await consumer.run({ eachMessage: async ({ message }) => { // 把Kafka存储的Buffer格式消息转成可解析的JSON const chatMessage = JSON.parse(message.value.toString()) // 控制台打印日志方便调试 console.log(`收到Kafka消息: 用户${chatMessage.username}发送: ${chatMessage.message}`) // 通过Socket.io把消息广播给所有在线客户端 io.emit("chat", chatMessage) }, }) } module.exports = startConsume
3. 补全Socket.io服务端启动逻辑
原有代码里只写了前端chat.js的连接逻辑,缺少服务端的入口代码。新建server.js作为项目统一启动入口,把前面改造好的Producer、Consumer逻辑和Socket服务串起来:
const express = require("express") const http = require("http") const { Server } = require("socket.io") // 引入改造后的Kafka逻辑 const { connectProducer, sendChatMessage } = require("./producer") const startConsume = require("./consumer") const app = express() const server = http.createServer(app) // 初始化Socket.io实例,本地调试放开跨域限制 const io = new Server(server, { cors: { origin: "*" } }) const initService = async () => { // 启动时先完成Kafka Producer连接 await connectProducer() // 启动Kafka Consumer,传入io实例用于消息广播 await startConsume(io) // 监听前端Socket连接事件 io.on("connection", (socket) => { // 收到前端发来的chat事件,不再直接广播,转交给Kafka Producer处理 socket.on("chat", async (chatData) => { await sendChatMessage(chatData) }) // 原有的输入中提示逻辑保留,无需走Kafka流程 socket.on("typing", (username) => { socket.broadcast.emit("typing", username) }) }) // 启动服务监听8000端口 server.listen(8000, () => { console.log("Socket聊天服务启动在 http://localhost:8000") }) } initService()
验证注意点
- 启动服务前先确认本地Kafka集群正常运行,且
message-logtopic已创建,避免连接报错 - 原有的定时发测试消息、自增序号的逻辑已经完全移除,现在只有用户在前端发送真实消息时,Kafka topic里才会有对应消息
- 前端的
chat.js代码完全不需要修改,原有事件名和通信格式和改造后的服务端完全匹配,启动服务后即可正常使用
内容的提问来源于stack exchange,提问作者Non Sin
相关产品推荐
相关产品推荐

