如何解决Scrapy-Playwright代理集成的net::ERR_TIMED_OUT超时错误？

问题描述 #

尝试为Scrapy-Playwright配置代理时，始终出现超时错误：

playwright._impl._api_types.Error: net::ERR_TIMED_OUT at http://whatismyip.com/
=========================== logs ===========================
navigating to "http://whatismyip.com/", waiting until "load"

执行代码如下：

from scrapy import Spider, Request
from scrapy_playwright.page import PageMethod


class ProxySpider(Spider):
    name = "check_proxy_ip"
    custom_settings = {
        "PLAYWRIGHT_LAUNCH_OPTIONS": {
            "proxy": {
                "server": "http://host:port",
                "username": "user",
                "password": "pass",
            },
        },
        "PLAYWRIGHT_DEFAULT_NAVIGATION_TIMEOUT": "300000",
    }

    def start_requests(self):
        yield Request("http://whatismyip.com",
                      meta=dict(
                          playwright=True,
                          playwright_include_page=True,
                          playwright_page_methods=[PageMethod('wait_for_selector', 'span.ipv4-hero')]
                      ),
                      callback=self.parse,
                      )

    def parse(self, response):
        print(response.text)

已使用验证可用的付费代理，settings.py中设置了DOWNLOAD_DELAY=30，调整PLAYWRIGHT_DEFAULT_NAVIGATION_TIMEOUT为0、10000或300000均无效。

可能的问题点及解决方法 #

1. 导航超时配置类型错误 #

你把PLAYWRIGHT_DEFAULT_NAVIGATION_TIMEOUT设成了字符串"300000"，但这个配置要求是整数类型。字符串会被Scrapy-Playwright识别为无效值，导致使用默认超时时间（通常30秒），不足以完成代理连接和页面加载。

修改代码中的对应配置：

"PLAYWRIGHT_DEFAULT_NAVIGATION_TIMEOUT": 300000,  # 去掉引号，用整数

2. 代理配置格式或兼容性问题 #

• 确认代理服务器地址格式：如果是SOCKS5代理，需要写成socks5://host:port，而非http://；HTTP代理则保持http://前缀。
• 部分付费代理需要额外验证，比如IP白名单绑定，可确认代理提供商是否有特殊要求。
• 用纯Playwright代码测试代理连通性，排除Scrapy集成问题：

  from playwright.sync_api import sync_playwright
  
  with sync_playwright() as p:
      browser = p.chromium.launch(
          proxy={
              "server": "http://host:port",
              "username": "user",
              "password": "pass"
          }
      )
      page = browser.new_page()
      page.goto("http://whatismyip.com", timeout=300000)
      print(page.text_content("span.ipv4-hero"))
      browser.close()
  

  如果这段代码也超时，说明代理本身或网络环境有问题，直接联系代理提供商排查。

3. 页面等待选择器失效 #

目标网站whatismyip.com的DOM结构可能已变化，span.ipv4-hero选择器可能不存在，导致Playwright一直等待元素触发超时。

可以调整等待逻辑：

playwright_page_methods=[
    PageMethod('wait_for_load_state', 'networkidle'),  # 等待网络空闲，比load状态更可靠
    PageMethod('wait_for_selector', 'div.ip-address', timeout=60000)  # 替换为实际存在的选择器
]

或者先保存页面HTML，确认元素是否存在：

def parse(self, response):
    with open("page.html", "w", encoding="utf-8") as f:
        f.write(response.text)
    # 再查找目标元素

4. Scrapy配置冲突 #

DOWNLOAD_DELAY=30是Scrapy针对普通请求的延迟，但Playwright请求的延迟需通过自身设置控制。可尝试添加slow_mo参数降低操作速度：

"PLAYWRIGHT_LAUNCH_OPTIONS": {
    "proxy": {
        "server": "http://host:port",
        "username": "user",
        "password": "pass",
    },
    "slow_mo": 1000  # 每个操作延迟1秒，避免触发反爬
},

内容的提问来源于stack exchange，提问作者Andrea