Node.js调用yt-dlp获取播放列表时无法终止while循环问题

核心问题分析 #

你遇到的问题本质是同步while循环和异步子进程执行的时序冲突：同步循环会疯狂迭代，根本不给yt-dlp子进程启动执行的机会，导致无限循环占满资源；而顺序混乱是因为异步操作没按预期的顺序等待完成。

具体实现步骤 #

1. 把yt-dlp spawn调用封装为Promise
   先把启动子进程、获取输出的逻辑包装成返回Promise的函数，这样就能用await等待子进程执行完毕，拿到结果后再推进循环。

const { spawn } = require('child_process');

// 封装yt-dlp获取单块播放列表的函数
function fetchPlaylistChunk(playlistUrl, startIndex, chunkSize) {
  return new Promise((resolve, reject) => {
    const args = [
      '--dump-json',
      '--playlist-start', startIndex.toString(),
      '--playlist-end', (startIndex + chunkSize - 1).toString(),
      playlistUrl
    ];
    const ytdlp = spawn('yt-dlp', args);
    let output = '';

    ytdlp.stdout.on('data', (data) => {
      output += data.toString();
    });

    ytdlp.stderr.on('data', (data) => {
      console.error('yt-dlp错误:', data.toString());
    });

    ytdlp.on('close', (code) => {
      if (code !== 0) {
        reject(new Error(`yt-dlp进程退出码: ${code}`));
        return;
      }
      // 解析输出，注意可能是多行JSON，每行一个视频
      const videos = output.trim().split('\n')
        .filter(line => line)
        .map(line => JSON.parse(line));
      resolve(videos);
    });
  });
}

2. 用异步while循环实现分块有序处理
   用async/await改造while循环，每次处理完一块（并行处理块内视频），再判断是否继续下一块，既保证顺序，又不会预分块浪费资源：

async function processPlaylist(playlistUrl, chunkSize = 500) {
  let startIndex = 1;
  let hasMore = true;

  while (hasMore) {
    try {
      // 等待当前块的视频数据返回
      const videos = await fetchPlaylistChunk(playlistUrl, startIndex, chunkSize);
      
      if (videos.length === 0) {
        // 拿到空结果，终止循环
        hasMore = false;
        break;
      }

      // 并行处理当前块的视频入库（保证块内效率，块间串行保证顺序）
      await Promise.all(
        videos.map(async (video) => {
          // 这里替换成你的数据库保存逻辑
          await saveVideoToDatabase(video);
        })
      );

      console.log(`已处理第 ${startIndex}-${startIndex + videos.length - 1} 条视频`);
      // 更新下一块的起始索引
      startIndex += videos.length;
    } catch (err) {
      console.error('处理块失败:', err);
      // 可选：失败后重试或终止，根据需求调整
      hasMore = false;
    }
  }
  console.log('播放列表处理完成');
}

// 示例数据库保存函数（替换成你的实际逻辑）
async function saveVideoToDatabase(video) {
  // 比如用mongoose或mysql2的异步API保存
  // await VideoModel.create(video);
}

方案优势 #

• 解决无限循环问题：await会暂停循环，直到yt-dlp子进程返回结果再继续，不会疯狂迭代
• 保证顺序：块与块之间是串行执行的，前一块全部入库完成才会处理下一块，整体顺序和播放列表一致
• 资源高效：不需要预分块，按需获取直到返回空结果，不管列表是50条还是5000条都适配
• 效率平衡：块内用Promise.all并行处理，既保证顺序又不浪费异步IO的性能

内容的提问来源于stack exchange，提问作者user9541267