如何在Deno中动态加载ESM模块且避免内存持续增长？

问题分析 #

你遇到的核心问题是：通过WebWorker加载ESM模块后，销毁Worker但进程内存未下降，且性能分析显示Worker内源码堆积。这主要由三个原因导致：

1. 代码中存在拼写错误（terimnate应为terminate），导致Worker未被正确终止
2. V8垃圾回收（GC）并非立即触发，且Docker的status显示的**驻留内存（RSS）**不会立即释放给操作系统（操作系统会保留内存供进程复用）
3. Worker内导入的模块若存在未清理的全局引用，会阻碍GC回收

修正与优化方案 #

1. 修正Worker销毁逻辑，按需创建/销毁Worker

不要用定时轮询的方式重建Worker，而是按需创建，任务完成后立即销毁，同时在Worker内部主动清理引用并关闭自身。

修改后的worker.ts：

// worker.ts
self.onmessage = async (evt: MessageEvent) => {
  try {
    const mod = await import(evt.data);
    // 仅序列化模块的公开导出（过滤私有属性）
    const serializedModule = JSON.stringify(
      Object.fromEntries(
        Object.entries(mod).filter(([key]) => !key.startsWith("_"))
      )
    );
    self.postMessage(serializedModule);
    // 主动解除模块引用，帮助GC回收
    (self as any).importedModule = null;
  } catch (err) {
    self.postMessage({ error: err.message });
  } finally {
    // 任务完成后主动关闭Worker
    self.close();
  }
};

修改后的manager.ts：

// manager.ts
async function loadAndSerializeModule(moduleUrl: string): Promise<string> {
  return new Promise((resolve, reject) => {
    // 用import.meta.url确保Worker脚本路径正确
    const worker = new Worker(
      new URL("./worker.ts", import.meta.url).href,
      { type: "module" }
    );

    worker.onmessage = (evt: MessageEvent) => {
      evt.data.error ? reject(new Error(evt.data.error)) : resolve(evt.data);
      // 接收结果后立即终止Worker
      worker.terminate();
    };

    worker.onerror = (err) => {
      reject(err);
      worker.terminate();
    };

    worker.postMessage(moduleUrl);
  });
}

// 使用示例
loadAndSerializeModule('https://deno.land/x/zod@v3.22.4/index.ts')
  .then(result => console.log("序列化结果：", result))
  .catch(err => console.error("加载失败：", err));

// 调试用：打印进程堆内存使用（比docker status更准确）
setInterval(() => {
  const mem = Deno.memoryUsage();
  console.log(`堆已使用：${(mem.heapUsed / 1024 / 1024).toFixed(2)} MB`);
  console.log(`堆总分配：${(mem.heapTotal / 1024 / 1024).toFixed(2)} MB`);
}, 5000);

2. 正确评估内存状态

• Docker的status显示的RSS包含操作系统为进程缓存的内存，即使进程内释放了内存，操作系统也可能不会立即回收，这是正常行为。
• 用Deno内置的Deno.memoryUsage()查看堆内存使用，若heapUsed没有持续增长，说明内存没有泄漏。

3. 调试时强制GC（生产环境不建议）

若需要验证内存是否可回收，可在Worker销毁后调用Deno.gc()触发强制垃圾回收（仅调试用，生产环境依赖此会影响性能）：

// 在manager.ts的worker.terminate()后添加
Deno.gc();

关键注意事项 #

• 并非所有模块都能直接用JSON.stringify序列化，若模块包含函数、Symbol等不可序列化内容，需提取你需要的具体属性进行序列化。
• Deno会将模块缓存到本地磁盘（默认在$DENO_DIR），这是磁盘缓存，不会占用进程内存，无需清理。

内容的提问来源于stack exchange，提问作者Lee Jeonghyun