如何批量从指定CouchDB API获取190万条数据以实现离线本地处理？

我之前处理过类似的大规模CouchDB数据离线导出需求，针对你的问题，这里有一套可靠的批量实现方案，能解决你遇到的耗时久、空结果问题：

核心思路：利用CouchDB的键范围分页高效拉取 #

CouchDB的_all_docs接口默认只会返回有限条数的文档（通常是200条），而且直接用skip参数做分页在数据量超过10万后会变得异常缓慢——因为CouchDB需要遍历跳过所有前面的文档。键范围分页是更高效的方式：每次拉取一批数据后，以上一批最后一个文档的id作为下一批的起始键，直接定位到数据位置。

另外，你之前得到空结果大概率是因为没加include_docs=true参数——默认_all_docs只返回文档的id和rev，不会返回完整文档内容。

具体实现代码 #

下面是一个可直接运行的Node.js脚本，包含批量拉取、错误重试、流式存储（避免内存溢出）等功能：

首先安装依赖：

npm install axios fs-extra

然后创建脚本fetch-npm-docs.js：

const axios = require('axios');
const fs = require('fs-extra');

// 目标CouchDB API地址
const COUCHDB_API = 'https://skimdb.npmjs.com/registry/_all_docs';
// 每批次拉取的文档数量（可根据服务器承受能力调整，建议500-2000）
const BATCH_SIZE = 1000;
// 输出文件（用JSON Lines格式，每行一个文档，适合大文件处理）
const OUTPUT_PATH = 'npm-registry-docs.jsonl';

/**
 * 拉取单批次数据
 * @param {string|null} startKey - 起始文档ID，用于分页
 * @returns {Promise<Object>} CouchDB返回的批次数据
 */
async function fetchSingleBatch(startKey = null) {
  const params = {
    include_docs: true, // 必须加这个参数才能获取完整文档
    limit: BATCH_SIZE,
    update_seq: false, // 关闭更新序列返回，减少数据传输量
  };

  // 如果是后续批次，设置起始键并跳过已获取的最后一个文档
  if (startKey) {
    params.startkey = `"${startKey}"`; // CouchDB的键是字符串，需包裹引号
    params.skip = 1;
  }

  try {
    const response = await axios.get(COUCHDB_API, { params });
    return response.data;
  } catch (error) {
    console.error(`批次拉取失败，2秒后重试: ${error.message}`);
    await new Promise(resolve => setTimeout(resolve, 2000));
    return fetchSingleBatch(startKey); // 递归重试
  }
}

/**
 * 拉取所有文档并写入本地文件
 */
async function fetchAllDocs() {
  // 先获取总文档数，确认任务规模
  const initResponse = await axios.get(COUCHDB_API, { params: { limit: 0 } });
  const totalRows = initResponse.data.total_rows;
  console.log(`检测到总共有 ${totalRows} 条文档，开始分批拉取...`);

  let fetchedCount = 0;
  let lastDocId = null;

  // 清空输出文件（如果已存在）
  await fs.writeFile(OUTPUT_PATH, '');

  while (fetchedCount < totalRows) {
    const batchData = await fetchSingleBatch(lastDocId);
    const docs = batchData.rows.map(row => row.doc);

    // 将当前批次的文档以JSON Lines格式追加到文件（避免内存过载）
    const lines = docs.map(doc => JSON.stringify(doc)).join('\n');
    await fs.appendFile(OUTPUT_PATH, lines + '\n');

    // 更新进度和下一批的起始键
    fetchedCount += docs.length;
    lastDocId = batchData.rows[batchData.rows.length - 1].id;

    console.log(`已完成 ${fetchedCount}/${totalRows} 条文档`);

    // 可选：添加小延迟，避免给服务器造成过大压力
    await new Promise(resolve => setTimeout(resolve, 500));
  }

  console.log('所有文档拉取完成！文件已保存到:', OUTPUT_PATH);
}

// 启动任务
fetchAllDocs().catch(err => console.error('任务执行失败:', err));

关键注意事项 #

• 避免内存溢出：用JSON Lines格式而非JSON数组存储，因为190万条文档的JSON数组会占用几GB内存，而JSON Lines可以流式写入，内存占用极低。
• 重试机制：网络波动或服务器限流时自动重试，避免任务中断。
• 进度追踪：实时打印拉取进度，方便你掌握任务状态。
• 断点续传：如果任务中途中断，可以记录最后拉取的lastDocId，下次启动时直接从该位置继续，无需从头开始。
• 调整批次大小：如果拉取过程中频繁报错，可以降低BATCH_SIZE（比如改为500），避免触发服务器的限流机制。

内容的提问来源于stack exchange，提问作者ben fadhel Ichraf