Electron项目编译后Crawlee无法找到puppeteer模块求助

核心问题分析 #

调试时Crawlee能正常识别Puppeteer，但编译打包后找不到模块，根源集中在三个方向：依赖安装不规范、Electron打包的asar资源配置不全、Crawlee的模块加载逻辑需要显式引导。

步骤1：彻底修复Puppeteer依赖版本 #

你提到npm view puppeteer version显示16.1.0，但package.json指定14.4.1，说明本地依赖未正确安装指定版本，按以下步骤清理重装：

• 删除项目根目录的node_modules文件夹和package-lock.json/yarn.lock
• 执行npm install重新安装依赖
• 执行npm ls puppeteer验证本地安装版本是否为14.4.1，确保与package.json配置一致

步骤2：调整Electron打包的asar配置 #

之前的asar配置仅解压了Puppeteer的Chromium部分，但Crawlee需要加载Puppeteer的核心模块文件，修改package.json的build配置：

"build": {
    "asar": true,
    "asarUnpack": [
      "**\\*.{node,dll}",
      "node_modules/puppeteer/**/*"  // 解压整个puppeteer模块，而非仅Chromium
    ],
    "extraResources": [
      "./assets/**",
      "node_modules/puppeteer"  // 确保puppeteer被作为外部资源完整包含
    ]
}

打包后Puppeteer的所有文件会被暴露在asar包外，Node.js可正常识别模块路径。

步骤3：显式给Crawlee指定Puppeteer实例 #

绕过Crawlee自动加载Puppeteer的逻辑，手动导入并传入配置：

const puppeteer = require('puppeteer');
const { PuppeteerCrawler } = require('@crawlee/puppeteer');

const crawler = new PuppeteerCrawler({
    // 显式指定launcher为本地安装的puppeteer实例
    launcher: puppeteer,
    // 其他爬虫配置
    requestHandler: async ({ page }) => {
        // 你的爬取逻辑
    }
});

crawler.run();

这种方式直接告诉Crawlee使用哪个Puppeteer模块，避免自动查找时的路径错误。

步骤4：检查打包工具的外部依赖配置 #

如果使用Webpack打包，需将Puppeteer设为外部依赖，避免被打包进bundle：

// webpack.config.js
module.exports = {
    // 其他配置
    externals: {
        puppeteer: 'require("puppeteer")'
    }
};

确保打包工具不会混淆或嵌入Puppeteer代码，保留其独立模块结构。

内容的提问来源于stack exchange，提问作者drewness