如何在NodeJS网页爬虫中实现动态切换IP地址的功能？

你提到的两个方案均具备可落地性，适配NodeJS+Selenium的技术栈，具体实现逻辑如下：

方案1：自建代理服务器处理爬虫请求 #

实现逻辑 #

• 你采购的意大利IP资源（住宅/数据中心IP均可）可通过安装Squid、3Proxy等开源代理服务软件搭建私有代理池，支持配置用户名密码鉴权、IP轮换规则。
• 代理服务部署完成后，直接在Selenium启动浏览器实例时绑定对应代理地址即可，可根据采集需求随时调整代理服务器的出口IP，实现全局IP切换。

注意事项 #

• 需确保代理服务器的带宽足够支撑Selenium的页面资源加载需求，避免采集超时
• 建议配置IP使用时长规则，避免单IP请求频率过高触发目标站点反爬

方案2：爬虫层封装IP切换函数 #

实现逻辑 #

如果采购的意大利IP服务商支持API接口动态切换出口IP，可直接在爬虫代码中封装切换逻辑，无需额外搭建代理服务：

• 每次触发目标站点反爬限制时，调用IP服务商提供的切换接口更换出口IP
• 重启Selenium浏览器实例加载新的IP配置，即可继续采集任务

注意事项 #

• 需预留IP生效等待时间（通常3-10秒不等，根据服务商规则调整），避免切换后仍使用旧IP请求
• 可搭配请求失败计数逻辑，自动触发IP切换操作，无需人工干预

1. Selenium绑定代理的基础配置 #

const { Builder, By } = require('selenium-webdriver');
const chrome = require('selenium-webdriver/chrome');

async function initDriver(proxyUrl) {
  let options = new chrome.Options();
  // 配置代理地址，格式为http://账号:密码@代理IP:端口 或 直接http://代理IP:端口
  options.addArguments(`--proxy-server=${proxyUrl}`);
  // 可选配置，禁用沙箱、GPU加速等，降低服务器资源占用
  options.addArguments('--no-sandbox', '--disable-gpu', '--disable-dev-shm-usage');
  
  return await new Builder()
    .forBrowser('chrome')
    .setChromeOptions(options)
    .build();
}

2. 动态切换IP封装函数 #

// 替换为你的IP服务商提供的切换IP接口逻辑
async function switchItalyIP() {
  // 调用服务商切换IP的API，此处仅为示例
  const res = await fetch('IP切换接口地址', {
    method: 'POST',
    headers: { 'Authorization': '你的服务商鉴权密钥' }
  });
  const data = await res.json();
  // 等待IP生效
  await new Promise(resolve => setTimeout(resolve, 5000));
  return data.newProxyUrl;
}

// 采集任务中触发IP切换的逻辑示例
async function crawlTask() {
  let proxyUrl = '初始代理地址';
  let driver = await initDriver(proxyUrl);
  
  try {
    await driver.get('目标意大利博彩站点地址');
    // 你的采集逻辑
  } catch (err) {
    // 判定为IP被封时触发切换
    if (err.message.includes('blocked') || err.message.includes('403')) {
      await driver.quit();
      proxyUrl = await switchItalyIP();
      driver = await initDriver(proxyUrl);
      // 重试采集逻辑
    }
  }
}

如果不想自行维护代理服务，可直接采购支持意大利地区定向IP的动态住宅代理池服务，这类服务大多支持单请求换IP、会话保持等功能，直接将代理地址填入上述Selenium配置中即可使用，无需额外开发切换逻辑。

内容的提问来源于stack exchange，提问作者Emanuele Bertuol