Node.js异步函数执行lda致线程阻塞，如何实现并发处理请求？

你遇到的问题核心是：lda是同步的CPU密集型函数，Node.js基于单线程事件循环模型，同步代码会占据整个主线程，导致事件循环无法处理其他HTTP请求——哪怕你的路由函数是async的，只要里面有同步阻塞的代码，照样会卡住整个服务器。

要解决这个问题，有几种可行方案：

方案1：使用Worker Threads（工作线程） #

Node.js自带的worker_threads模块可以把CPU密集型任务放到单独的工作线程中执行，主线程不会被阻塞，还能继续处理其他请求。

示例代码：
首先创建一个单独的工作线程脚本lda-worker.js：

const { parentPort, workerData } = require('worker_threads');
const lda = require('lda');

// 执行lda计算
const results = lda(workerData.postText, 5, 3);
// 把结果发送回主线程
parentPort.postMessage(results);

然后修改你的Express路由：

const { Worker } = require('worker_threads');

app.post("/get-topics", async (req: Request, res: Response)=>{
    const posts = await pool.query(`<my sql search string here>`, [req.body.user]);
    const postText: string[] = posts.rows.map(p => p.content);

    // 创建工作线程执行lda
    const worker = new Worker('./lda-worker.js', {
        workerData: { postText }
    });

    worker.on('message', (results) => {
        res.json({'topics': results});
        worker.terminate();
    });

    worker.on('error', (err) => {
        res.status(500).json({ error: err.message });
        worker.terminate();
    });
})

方案2：使用子进程（child_process） #

通过child_process.fork创建子进程来运行lda计算，子进程和主进程独立，不会阻塞主线程的事件循环。

示例代码：
创建子进程脚本lda-child.js：

const lda = require('lda');
process.on('message', (postText) => {
    const results = lda(postText, 5, 3);
    process.send(results);
});

修改Express路由：

const { fork } = require('child_process');

app.post("/get-topics", async (req: Request, res: Response)=>{
    const posts = await pool.query(`<my sql search string here>`, [req.body.user]);
    const postText: string[] = posts.rows.map(p => p.content);

    const child = fork('./lda-child.js');
    child.send(postText);

    child.on('message', (results) => {
        res.json({'topics': results});
        child.kill();
    });

    child.on('error', (err) => {
        res.status(500).json({ error: err.message });
        child.kill();
    });
})

方案3：使用Cluster模块（适合多CPU部署） #

如果你的服务器是多核CPU，可以用Node.js的cluster模块开启多个工作进程，每个进程处理一部分请求。这样即使某个进程被lda阻塞，其他进程还能正常处理请求。

示例代码（简化版）：

const cluster = require('cluster');
const numCPUs = require('os').cpus().length;
const express = require('express');

if (cluster.isPrimary) {
    // 主进程创建子进程
    for (let i = 0; i < numCPUs; i++) {
        cluster.fork();
    }
} else {
    // 每个子进程启动Express服务
    const app = express();
    // ... 你的其他路由和配置
    app.post("/get-topics", async (req: Request, res: Response)=>{
        const posts = await pool.query(`<my sql search string here>`, [req.body.user]);
        const postText: string[] = posts.rows.map(p => p.content);
        const results = lda(postText, 5, 3);
        res.json({'topics':results})
    });
    app.listen(3000);
}

以上方案都能让你的服务器在执行lda期间正常处理其他HTTP请求，根据你的部署环境和需求选择即可。

内容的提问来源于stack exchange，提问作者Null Salad