You need to enable JavaScript to run this app. Apollo Server扫描Sitemap时如何等待执行完成并在客户端即时展示URL数组
优惠活动
大模型
产品
解决方案
定价
更多

Apollo Server扫描Sitemap时如何等待执行完成并在客户端即时展示URL数组

根因定位
  • 解析器提前返回原因:scanSitemap 为async函数,但内部基于事件的SitemapGenerator流程未被包装为Promise,async函数执行到generator.start()后即退出,未等待done事件触发,因此Apollo直接返回undefined作为响应。
  • 实时展示适配方案误区:GraphQL Subscription需要维护长连接,且若按逐条持久化URL的实现逻辑会产生冗余存储;单次扫描任务的实时进度推送可通过单次HTTP流式响应实现,无需使用Subscription,也无需中间态数据持久化。
修复解析器提前返回问题

将事件驱动的扫描流程包装为可await的Promise,确保整个扫描、持久化流程执行完毕后再返回结果,修改后的解析器代码如下:

scanSitemap: async (parent, { id, data }, { WebLink }) => {
  let dataset = [];
  // 包装事件流程为Promise,同步等待完成
  const scanFlow = new Promise((resolve, reject) => {
    try {
      const generator = SitemapGenerator('https://example.org', {
        stripQuerystring: false,
        filepath: null
      });
      generator.on('add', (url) => {
        dataset.push(url);
        console.log(dataset);
      });
      generator.on('done', async () => {
        // 扫描全完成后批量持久化,仅存一次库
        const savedRecord = await new WebLink({
          status: 1, domain: 'test', websiteId: id, urls: dataset
        }).save();
        resolve(savedRecord);
      });
      generator.on('error', (err) => reject(err));
      generator.start();
    } catch (err) {
      reject(err);
    }
  });
  return scanFlow;
}
实现客户端实时展示URL(无冗余存储)

采用Apollo Server原生支持的GraphQL Multipart流式响应,复用现有HTTP通道实现实时推送,中间扫描过程不写数据库,仅最终批量存一次,完全规避Subscription的冗余存储问题。

实现步骤

  • 确认Apollo Server版本为3.0以上,该版本默认开启流式响应支持,无需额外配置
  • 修改解析器返回逻辑,每收到一条add事件的URL就推送给客户端,无需等待全量收集完成:
scanSitemap: async (parent, { id, data }, { WebLink }) => {
  let dataset = [];
  // 构造异步迭代器作为流式返回源,每生成一个URL就推送一个值
  const urlStream = (async function* () {
    await new Promise((resolve, reject) => {
      try {
        const generator = SitemapGenerator('https://example.org', {
          stripQuerystring: false,
          filepath: null
        });
        generator.on('add', (url) => {
          dataset.push(url);
          // 直接将当前URL加入流推送,无需入队存储
          queueMicrotask(() => yield url);
        });
        generator.on('done', async () => {
          // 扫描全部完成后仅执行一次批量持久化
          await new WebLink({
            status: 1, domain: 'test', websiteId: id, urls: dataset
          }).save();
          resolve();
        });
        generator.on('error', reject);
        generator.start();
      } catch (err) {
        reject(err);
      }
    });
    // 流结束时返回完整URL数组
    return dataset;
  })();
  return {
    urls: urlStream
  };
}
  • 客户端使用Apollo Client 3.7以上版本,直接发起请求即可自动解析流式响应,逐个渲染已推送的URL数组,无需引入WebSocket依赖。

方案优势

  • 无需逐条持久化扫描结果,仅最终批量存库,无冗余存储成本
  • 复用现有HTTP通道,无需额外维护Subscription所需的WebSocket服务
  • 保持单次请求的调用逻辑,无需修改客户端原有请求流程

内容的提问来源于stack exchange,提问作者cnsvnc

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.15 13:24:06