You need to enable JavaScript to run this app. 新手如何对接Kafkajs与Socket.io,将聊天内容替换Kafka测试消息
优惠活动
大模型
产品
解决方案
定价
更多

新手如何对接Kafkajs与Socket.io,将聊天内容替换Kafka测试消息

KafkaJS + Socket.io 聊天应用集成实现

核心链路逻辑

完整的消息流转路径和原有的测试逻辑相比,只需要把原有的“定时生成测试消息”和“收到消息直接控制台打印”的环节替换掉,串起前端、Socket服务、Kafka三个模块:

  • 前端浏览器输入消息,触发Socket.io的chat事件把消息发到服务端
  • 服务端收到消息后,不再直接广播给所有客户端,而是调用Kafka Producer接口,把真实消息投递到message-log topic
  • Kafka Consumer监听到topic内的新消息后,通过Socket.io把消息广播给所有在线客户端,完成消息展示
  • 原有的typing状态提示逻辑因为不需要走Kafka流程,可以完全保留不动

分步改造代码

1. 改造原有Producer模块

移除原代码里setInterval定时发测试消息、自增序号的逻辑,抽离出两个可被外部调用的独立方法:一个用来连接Kafka,一个用来接收真实聊天消息并投递。
改造后的producer.js代码:

const { Kafka } = require("kafkajs")
const clientId = "my-app"
const brokers = ["localhost:9092"]
const topic = "message-log"

const kafka = new Kafka({ clientId, brokers })
const producer = kafka.producer()

// 服务启动时调用一次,完成Kafka Producer连接
const connectProducer = async () => {
    await producer.connect()
    console.log("Kafka Producer 连接成功")
}

// 接收前端传来的真实聊天消息,投递到Kafka
const sendChatMessage = async (messageData) => {
    try {
        await producer.send({
            topic,
            messages: [
                {
                    // 用用户名作为消息key,同个用户的消息会路由到同一Kafka分区
                    key: messageData.username,
                    // 将JSON格式的聊天对象序列化后存入Kafka
                    value: JSON.stringify(messageData)
                }
            ]
        })
    } catch (err) {
        console.error("Kafka消息发送失败: ", err)
    }
}

module.exports = {
    connectProducer,
    sendChatMessage

2. 改造原有Consumer模块

移除原代码里“收到消息只打印控制台”的逻辑,把Socket.io的实例传入Consumer模块,收到Kafka消息后直接广播给前端。
改造后的consumer.js代码:

const { Kafka } = require("kafkajs")
const clientId = "my-app"
const brokers = ["localhost:9092"]
const topic = "message-log"

const kafka = new Kafka({ clientId, brokers })
const consumer = kafka.consumer({ groupId: clientId })

// 传入io实例,用来给所有前端客户端广播消息
const startConsume = async (io) => {
    await consumer.connect()
    await consumer.subscribe({ topic })
    await consumer.run({
        eachMessage: async ({ message }) => {
            // 把Kafka存储的Buffer格式消息转成可解析的JSON
            const chatMessage = JSON.parse(message.value.toString())
            // 控制台打印日志方便调试
            console.log(`收到Kafka消息: 用户${chatMessage.username}发送: ${chatMessage.message}`)
            // 通过Socket.io把消息广播给所有在线客户端
            io.emit("chat", chatMessage)
        },
    })
}

module.exports = startConsume

3. 补全Socket.io服务端启动逻辑

原有代码里只写了前端chat.js的连接逻辑,缺少服务端的入口代码。新建server.js作为项目统一启动入口,把前面改造好的Producer、Consumer逻辑和Socket服务串起来:

const express = require("express")
const http = require("http")
const { Server } = require("socket.io")

// 引入改造后的Kafka逻辑
const { connectProducer, sendChatMessage } = require("./producer")
const startConsume = require("./consumer")

const app = express()
const server = http.createServer(app)
// 初始化Socket.io实例,本地调试放开跨域限制
const io = new Server(server, {
    cors: { origin: "*" }
})

const initService = async () => {
    // 启动时先完成Kafka Producer连接
    await connectProducer()
    // 启动Kafka Consumer,传入io实例用于消息广播
    await startConsume(io)

    // 监听前端Socket连接事件
    io.on("connection", (socket) => {
        // 收到前端发来的chat事件,不再直接广播,转交给Kafka Producer处理
        socket.on("chat", async (chatData) => {
            await sendChatMessage(chatData)
        })

        // 原有的输入中提示逻辑保留,无需走Kafka流程
        socket.on("typing", (username) => {
            socket.broadcast.emit("typing", username)
        })
    })

    // 启动服务监听8000端口
    server.listen(8000, () => {
        console.log("Socket聊天服务启动在 http://localhost:8000")
    })
}

initService()

验证注意点

  • 启动服务前先确认本地Kafka集群正常运行,且message-log topic已创建,避免连接报错
  • 原有的定时发测试消息、自增序号的逻辑已经完全移除,现在只有用户在前端发送真实消息时,Kafka topic里才会有对应消息
  • 前端的chat.js代码完全不需要修改,原有事件名和通信格式和改造后的服务端完全匹配,启动服务后即可正常使用

内容的提问来源于stack exchange,提问作者Non Sin

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.02 05:06:10