Playwright使用代理时page.content()与浏览器显示内容不一致问题求助

问题概述 #

配置代理使用Playwright时，首次加载页面一切正常，但执行操作（如点击搜索按钮）触发页面重载后，通过page.content()获取的HTML缺失<body>标签，然而浏览器可视化窗口中页面显示完全正常。取消代理配置后，该问题消失，怀疑目标页面检测到了代理环境。

复现代码 #

import asyncio
from playwright.async_api import async_playwright

async def main():
    async with async_playwright() as p:
        # 配置代理启动浏览器
        browser = await p.chromium.launch(headless=False, proxy={
                "server": "",  # 填入你的代理地址
                "username": "",  # 代理用户名
                "password": ""  # 代理密码
            })

        page = await browser.new_page()
        await page.goto("URL")  # 填入目标页面地址
        await page.get_by_role("button", name="Search").click()

        # 打印当前页面HTML
        print(await page.content())

        await browser.close()

asyncio.run(main())

异常现象示例 #

获取到的不完整HTML：

<html>
<head>
... <!-- 头部内容正常 -->
</head>
</html>

可行解决方法 #

• 等待页面完全加载：点击操作触发页面重载后，不要立即调用page.content()，等待页面加载完成或关键元素出现：

  await page.get_by_role("button", name="Search").click()
  # 等待页面网络空闲（无新请求）
  await page.wait_for_load_state("networkidle")
  # 或者等待body标签存在
  await page.wait_for_selector("body", state="attached")
  print(await page.content())
  

• 模拟真实浏览器环境，规避代理检测：添加浏览器启动参数，隐藏自动化特征，配置真实User-Agent：

  browser = await p.chromium.launch(
      headless=False,
      proxy={"server": "", "username": "", "password": ""},
      args=[
          "--disable-blink-features=AutomationControlled",
          "--disable-dev-shm-usage",
          "--no-sandbox"
      ]
  )
  # 创建页面时设置真实User-Agent
  page = await browser.new_page(user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
  

• 改用上下文（Context）配置代理：通过浏览器上下文设置代理，相比直接在launch时配置，上下文的代理隔离性更好，避免环境泄露：

  async with async_playwright() as p:
      browser = await p.chromium.launch(headless=False)
      # 创建带代理的上下文
      context = await browser.new_context(
          proxy={"server": "", "username": "", "password": ""},
          user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"
      )
      page = await context.new_page()
      await page.goto("URL")
      await page.get_by_role("button", name="Search").click()
      await page.wait_for_load_state("networkidle")
      print(await page.content())
      await context.close()
      await browser.close()
  

• 检查代理有效性：确认代理支持HTTPS、没有IP地域限制，且代理配置无语法错误；可添加代理旁路规则，避免本地请求走代理：

  proxy={
      "server": "http://your-proxy:port",
      "username": "user",
      "password": "pass",
      "bypass": "<loopback>"  # 本地地址不走代理
  }
  

• 捕获页面异常请求：监听页面的错误和失败请求，排查是否有资源加载失败导致页面渲染不完整：

  # 监听控制台错误
  page.on("console", lambda msg: print(f"Console: {msg.text}"))
  # 监听失败的请求
  page.on("requestfailed", lambda req: print(f"Failed request: {req.url}, error: {req.failure.error_text}"))
  

内容的提问来源于stack exchange，提问作者Alex Güemez