You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

服务器端Puppeteer爬取网站遇SSL问题(本地运行正常)

服务器端Puppeteer连接目标网站超时问题的解决思路

从你提供的curl输出可以明确:核心问题是服务器到目标IP(103.129.75.144)的443端口连接超时,这属于网络连通性问题,和SSL证书验证无关——你之前尝试忽略证书错误的操作没用,是因为方向错了。下面是具体解决思路和替代方案:

一、先排查服务器网络层面问题

  • 检查服务器防火墙/安全组:多数云服务器默认会限制出站端口,需要手动添加规则,允许服务器访问目标IP(103.129.75.144)的443端口。
  • 追踪路由链路:执行traceroute 103.129.75.144(Linux)或tracert 103.129.75.144(Windows),查看在哪一段路由出现丢包,判断是运营商路由故障还是目标服务器拦截了你的服务器IP。
  • 配置代理:如果本地能访问是因为用了代理,而服务器没配置,或者服务器所在网络需要代理才能访问目标网站,给Puppeteer添加代理配置:
    const browser = await puppeteer.launch({
      args: ['--proxy-server=http://你的代理地址:端口']
    });
    

二、Puppeteer针对性配置调整

  • 强制使用IPv4连接:部分服务器IPv6配置异常,而目标网站没有IPv6解析,强制Puppeteer仅用IPv4发起请求:
    const browser = await puppeteer.launch({
      args: ['--force-ipv4']
    });
    
  • 延长超时时间:目标服务器可能响应较慢,调整Puppeteer的页面加载超时:
    const page = await browser.newPage();
    await page.goto('https://registration.ec.ap.gov.in', { timeout: 60000 }); // 设置为60秒超时
    
  • (备用)禁用SSL证书检查:如果后续遇到证书验证问题,可添加以下参数(当前问题用不上,但可以留作备用):
    const browser = await puppeteer.launch({
      args: ['--ignore-certificate-errors', '--ignore-ssl-errors']
    });
    

三、替代方案

  • 用HTTP客户端直接请求:如果目标网站不需要JS渲染,直接用axios或node-fetch发起请求,配置代理和超时:
    const axios = require('axios');
    axios.get('https://registration.ec.ap.gov.in', {
      timeout: 60000,
      proxy: {
        host: '代理IP',
        port: 代理端口
      }
    }).then(res => console.log(res.data)).catch(err => console.error(err));
    
  • 换用Playwright:作为Puppeteer的替代无头浏览器,网络兼容性可能更好,配置逻辑类似:
    const { chromium } = require('playwright');
    (async () => {
      const browser = await chromium.launch({ args: ['--force-ipv4', '--ignore-certificate-errors'] });
      const page = await browser.newPage();
      await page.goto('https://registration.ec.ap.gov.in', { timeout: 60000 });
      // 执行你的爬取操作
      await browser.close();
    })();
    

内容的提问来源于stack exchange,提问作者Parmeshwar Rathod

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.06.16 06:05:12