如何在Playwright中检测Http Basic Authentication并终止爬取

针对你的需求，直接通过Playwright监听浏览器的认证对话框事件即可实现准确检测，完全符合你不尝试认证、不依赖请求头推断的要求，具体实现如下：

核心思路 #

Http Basic Auth弹出的对话框在Playwright中被归类为auth类型的对话框，我们可以通过监听页面的dialog事件捕获它，一旦检测到就拒绝认证并标记站点为受限制，同时终止页面加载流程。

代码实现（Python示例） #

from playwright.sync_api import sync_playwright

def detect_basic_auth_restricted_site(url):
    auth_restricted = False
    with sync_playwright() as p:
        browser = p.chromium.launch()
        page = browser.new_page()

        # 监听所有对话框事件
        def handle_dialog(dialog):
            nonlocal auth_restricted
            # 判定是否为Http Basic Auth对话框
            if dialog.type == "auth":
                auth_restricted = True
                dialog.dismiss()  # 直接关闭对话框，不输入任何认证信息
            else:
                dialog.dismiss()  # 处理其他类型对话框，避免阻塞流程

        page.on("dialog", handle_dialog)

        try:
            # 设置加载超时，防止因Auth对话框阻塞导致无限等待
            page.goto(url, timeout=10000)
        except:
            # 超时或加载异常不影响结果判定，因为我们已通过dialog事件捕获Auth状态
            pass

        browser.close()
    return auth_restricted

# 使用示例
target_url = "https://your-target-site.com"
if detect_basic_auth_restricted_site(target_url):
    print(f"站点 {target_url} 受Http Basic Auth限制，终止爬取")
    # 此处添加归类存储逻辑
else:
    print(f"站点 {target_url} 可正常爬取")
    # 继续你的爬取流程

方案说明 #

• 无认证尝试：全程仅关闭对话框，未调用任何填充用户名/密码的方法，完全符合你不尝试认证的要求。
• 无请求头误报：直接捕获浏览器层面弹出的认证对话框，属于明确的交互事件检测，不会因请求头的特殊情况产生误判。
• 适配Chromium：Playwright对Chromium的对话框事件处理原生支持，检测逻辑稳定可靠。

内容的提问来源于stack exchange，提问作者eshalev