使用async.eachLimit处理大量URL时无错误却停滞的排查求助

你的脚本停滞的核心原因是使用了同步的HTTP请求库after-load，这完全违背了Node.js的异步非阻塞设计理念，直接导致了后续的无响应问题。

为什么会出现停滞？ #

• after-load是同步请求工具，每调用一次afterLoad(url)都会完全阻塞Node.js的事件循环，直到该请求完成才会继续执行下一个任务。
• 你设置的async.eachLimit并发数4根本起不到作用——同步代码会让async的异步控制逻辑彻底失效，本质上所有请求都是串行执行的。
• 当处理到第70个左右的URL时，大量同步请求堆积会耗尽网络连接池资源，或者让事件循环长期被阻塞，最终脚本陷入无响应状态；而且同步阻塞场景下，try-catch也无法捕获到一些异步层面的潜在异常（比如DNS解析超时、连接中断等）。

修复方案：改用异步HTTP请求库 #

把after-load换成异步的请求库（比如axios或node-fetch），这样才能让async.eachLimit的并发控制真正生效，同时避免阻塞事件循环。

以下是改写后的完整代码：

const async = require('async');
const wordcount = require('wordcount');
const htmlToText = require('html-to-text');
const axios = require('axios'); // 改用异步请求库

function getWordCount(urls, cb) {
  async.eachLimit(urls, 4, function(url, cbe) {
    axios.get(url, { timeout: 10000 }) // 添加10秒超时，避免慢请求拖垮流程
      .then(response => {
        const text = htmlToText.fromString(response.data);
        const urlWordCount = wordcount(text);
        console.log(url, urlWordCount);
        cbe(null);
      })
      .catch(err => {
        console.log(url, 0, err.message);
        cbe(null); // 出错后仍继续处理下一个URL
      });
  }, function(err) {
    console.log("finished getting wordcount", err);
    cb(err);
  });
}

// 测试调用
getWordCount(["https://stackoverflow.com/", "https://caolan.github.io/async/docs.html#eachLimit"], function(err){
  console.log(err);
});

额外优化建议 #

• 可以把结果收集到数组中，最后统一输出，减少频繁console.log带来的IO开销。
• 针对不同错误类型（比如404、超时、网络错误）做差异化处理，比如记录不同的错误日志。
• 如果URL数量极多，可以考虑给请求添加重试机制，提升任务完成率。

内容的提问来源于stack exchange，提问作者Trevor V