Ubuntu VPS上Puppeteer致Express路由无法返回响应问题

关键问题排查与修复步骤 #

1. 强制启用无头模式（核心修复） #

本地Windows有桌面环境，headless: false可以正常运行，但Ubuntu VPS通常无桌面环境，该配置会导致浏览器进程异常阻塞事件循环，进而无法返回响应。
修改Puppeteer启动配置：

const browser = await puppeteer.launch({
  headless: "new", // 改用新版无头模式，VPS必备
  args: [
    "--no-sandbox",
    "--disable-setuid-sandbox",
    "--disable-dev-shm-usage", // 解决VPS共享内存不足导致的进程崩溃
    "--disable-gpu",
    "--single-process" // 减少资源泄漏风险
  ],
});

2. 延长请求超时时间 #

VPS网络延迟更高，爬取流程耗时远超本地，后端框架默认超时会提前终止响应。给当前路由单独设置超长超时：

exports.createFacebook = async (req, res) => {
  req.setTimeout(300000); // 设置5分钟超时，根据实际爬取量调整
  // 原有代码逻辑...
};

同时检查Nginx等反向代理的超时配置，确保代理层不会提前断开连接。

3. 确保资源完全释放 #

Ubuntu环境下浏览器进程可能无法彻底关闭，阻塞事件循环。在browser.close()后添加强制清理：

await browser.close();
// 手动触发Node.js垃圾回收（需启动时添加 --expose-gc 参数）
if (global.gc) global.gc();

4. 捕获静默异常并验证响应发送 #

虽然有try-catch，但部分异步逻辑的异常可能未被捕获，或者响应发送后被拦截。添加日志验证：

// 创建Facebook对象后
console.log("准备返回响应，对象ID:", facebook._id);
return res.status(201).json({
  status: "success",
  message: `Facebook object created successfully`,
  data: {
    facebook,
  },
});

如果日志显示响应准备发送但客户端没收到，检查VPS防火墙是否放行端口，或者反向代理是否拦截了响应包。

5. 优化爬取逻辑减少耗时 #

缩短页面等待时间，把waitUntil: "networkidle2"改为waitUntil: "domcontentloaded"，避免等待不必要的网络请求：

await page.goto(friendListUrl, {
  waitUntil: "domcontentloaded",
  timeout: 0,
});

同时优化滚动加载逻辑，避免无效循环：

async function scrollPageToBottom() {
  await page.evaluate(async () => {
    let lastHeight = document.body.scrollHeight;
    while (true) {
      window.scrollTo(0, document.body.scrollHeight);
      await new Promise(resolve => setTimeout(resolve, 600));
      const newHeight = document.body.scrollHeight;
      if (newHeight === lastHeight) break;
      lastHeight = newHeight;
    }
  });
}

内容的提问来源于stack exchange，提问作者Somadina