Puppeteer本地运行正常，部署至Heroku后出现超时问题求助

核心问题排查与修复方案 #

1. 修复Puppeteer的Heroku环境依赖 #

Heroku基础镜像未预装Chrome，导致Puppeteer无法正常启动浏览器：

• 添加专用构建包到Heroku应用：

  heroku buildpacks:add jontewks/puppeteer
  

• 确保package.json中Puppeteer版本与构建包兼容，避免版本冲突导致浏览器初始化失败。

2. 绕过Instagram反爬检测 #

Heroku服务器IP大概率被Instagram标记为爬虫，导致页面渲染异常：

• 给Puppeteer配置真实浏览器参数：

  const browser = await puppeteer.launch({
    args: [
      '--no-sandbox',
      '--disable-setuid-sandbox',
      '--disable-dev-shm-usage',
      '--disable-gpu',
      '--user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"'
    ],
    headless: 'new',
    defaultViewport: { width: 1280, height: 720 }
  });
  

• 页面加载后添加随机延迟，模拟用户行为：

  await page.waitForTimeout(Math.floor(Math.random() * 2000) + 1000);
  

3. 替换失效的等待逻辑 #

main选择器可能因Instagram页面结构变化失效，或元素存在但未完成渲染：

• 改用网络空闲等待替代元素等待：

  await page.goto(reelUrl, { waitUntil: 'networkidle2', timeout: 30000 });
  

• 使用更精准的Reel内容选择器：

  await page.waitForSelector('div[role="main"] div[data-testid="reel"]', { timeout: 30000 });
  

4. 排查工具兼容性冲突 #

同时使用instagram-url-dl可能与Puppeteer逻辑冲突：

• 暂时移除instagram-url-dl，仅用Puppeteer实现数据爬取，验证是否能正常运行。
• 若依赖该工具，升级到最新版本，确认是否修复了Heroku环境下的适配问题。

5. 缓解Heroku资源限制 #

免费/基础层Heroku内存、CPU配额不足，导致浏览器加载超时：

• 升级Heroku应用套餐，提升资源配额。
• 优化Puppeteer资源占用：每次爬取后及时关闭浏览器实例，避免内存泄漏：

  await browser.close();
  

内容的提问来源于stack exchange，提问作者Mohamed Zaki