Apollo Server扫描Sitemap时如何等待执行完成并在客户端即时展示URL数组
根因定位
- 解析器提前返回原因:
scanSitemap为async函数,但内部基于事件的SitemapGenerator流程未被包装为Promise,async函数执行到generator.start()后即退出,未等待done事件触发,因此Apollo直接返回undefined作为响应。 - 实时展示适配方案误区:GraphQL Subscription需要维护长连接,且若按逐条持久化URL的实现逻辑会产生冗余存储;单次扫描任务的实时进度推送可通过单次HTTP流式响应实现,无需使用Subscription,也无需中间态数据持久化。
修复解析器提前返回问题
将事件驱动的扫描流程包装为可await的Promise,确保整个扫描、持久化流程执行完毕后再返回结果,修改后的解析器代码如下:
scanSitemap: async (parent, { id, data }, { WebLink }) => { let dataset = []; // 包装事件流程为Promise,同步等待完成 const scanFlow = new Promise((resolve, reject) => { try { const generator = SitemapGenerator('https://example.org', { stripQuerystring: false, filepath: null }); generator.on('add', (url) => { dataset.push(url); console.log(dataset); }); generator.on('done', async () => { // 扫描全完成后批量持久化,仅存一次库 const savedRecord = await new WebLink({ status: 1, domain: 'test', websiteId: id, urls: dataset }).save(); resolve(savedRecord); }); generator.on('error', (err) => reject(err)); generator.start(); } catch (err) { reject(err); } }); return scanFlow; }
实现客户端实时展示URL(无冗余存储)
采用Apollo Server原生支持的GraphQL Multipart流式响应,复用现有HTTP通道实现实时推送,中间扫描过程不写数据库,仅最终批量存一次,完全规避Subscription的冗余存储问题。
实现步骤
- 确认Apollo Server版本为3.0以上,该版本默认开启流式响应支持,无需额外配置
- 修改解析器返回逻辑,每收到一条
add事件的URL就推送给客户端,无需等待全量收集完成:
scanSitemap: async (parent, { id, data }, { WebLink }) => { let dataset = []; // 构造异步迭代器作为流式返回源,每生成一个URL就推送一个值 const urlStream = (async function* () { await new Promise((resolve, reject) => { try { const generator = SitemapGenerator('https://example.org', { stripQuerystring: false, filepath: null }); generator.on('add', (url) => { dataset.push(url); // 直接将当前URL加入流推送,无需入队存储 queueMicrotask(() => yield url); }); generator.on('done', async () => { // 扫描全部完成后仅执行一次批量持久化 await new WebLink({ status: 1, domain: 'test', websiteId: id, urls: dataset }).save(); resolve(); }); generator.on('error', reject); generator.start(); } catch (err) { reject(err); } }); // 流结束时返回完整URL数组 return dataset; })(); return { urls: urlStream }; }
- 客户端使用Apollo Client 3.7以上版本,直接发起请求即可自动解析流式响应,逐个渲染已推送的URL数组,无需引入WebSocket依赖。
方案优势
- 无需逐条持久化扫描结果,仅最终批量存库,无冗余存储成本
- 复用现有HTTP通道,无需额外维护Subscription所需的WebSocket服务
- 保持单次请求的调用逻辑,无需修改客户端原有请求流程
内容的提问来源于stack exchange,提问作者cnsvnc
相关产品推荐
相关产品推荐

