如何使用Python自动化查找不同网站的登录页面

完全可以实现，按从易到难的分层逻辑做就行，不用一开始就上复杂模型，常规站点靠规则就能覆盖90%以上的场景，落地思路如下：

第一层：低耗快速筛查（覆盖60%+常规站点） #

这部分用requests库就能实现，资源占用低、速度快，优先跑：

• 先维护一份高频登录路径词表，覆盖绝大多数站点的通用登录地址，比如/login、/signin、/user/login、/auth/login、/account/login、/member/login这类，对目标站点拼接路径后发GET/HEAD请求，校验返回状态码是否为200、返回内容是否是有效页面而非404/403拦截页，命中直接进入下一步校验。
• 路径枚举没结果的话，爬取目标站点首页、顶部导航、页脚区域的所有<a>标签，提取链接文本和href属性，只要文本包含“登录”“登入”“Log in”“Sign in”，或者href里带login、signin、auth关键词的，全部拎出来作为候选地址。
• 注意控制请求频率，加正常浏览器UA，单次请求超时设3-5秒，遇到强反爬拦截直接标记跳过，不用硬刚避免IP被封。

第二层：页面特征校验（排除误判） #

拿到候选地址后，爬取页面对DOM做解析，用BeautifulSoup就能完成，判断是不是真的登录页：

• 核心判断依据：页面是否存在<input type="password">的密码输入框，这是登录页最通用的特征，命中这个就有90%以上的概率是登录相关页面。
• 辅助校验规则：配套检查页面是否存在用户名/手机号/邮箱输入框、提交按钮是否带“登录”相关文本，是否存在“忘记密码”“第三方登录”这类关联文本；同时加排除规则，要是页面里“注册”“重置密码”的文本占比远高于登录相关内容，就判定为注册页/找回密码页，排除掉。

第三层：特殊场景适配（覆盖剩余复杂站点） #

前面两层规则没命中的站点，再上重处理逻辑，不要一开始就全量跑浪费资源：

• 单页应用/动态渲染站点：很多Vue/React写的站点直接用requests拿不到渲染后的DOM，换playwright无头浏览器加载页面，等DOM完全渲染后再提取元素，匹配逻辑和前面的规则一致就行。
• 非通用路径站点：如果站点登录路径完全不按常规命名，可以收集一批已确认的登录页样本，用TF-IDF提取文本特征算余弦相似度，相似度超过阈值的标记为候选页再做规则复核，这部分能覆盖大部分小众定制站点。

最小实现参考代码 #

下面是最基础的规则匹配版本，能覆盖大部分普通站点，后续可以根据自己的需求加动态渲染、相似度匹配的逻辑：

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
import time
import random

# 高频登录路径池
LOGIN_PATH_POOL = ["/login", "/signin", "/user/login", "/auth/login", "/account/login", "/member/login"]
# 常规浏览器UA，避免被直接拦截
HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"
}

def is_real_login_page(page_url: str) -> bool:
    """校验传入地址是否为真实登录页"""
    try:
        resp = requests.get(page_url, headers=HEADERS, timeout=5)
        if resp.status_code != 200:
            return False
        page_html = resp.text
        soup = BeautifulSoup(page_html, "html.parser")
        # 核心特征：存在密码输入框
        has_password_input = bool(soup.find("input", {"type": "password"}))
        # 辅助特征：包含登录相关文本
        has_login_keyword = any(k in page_html for k in ["登录", "登入", "Log in", "Sign in"])
        return has_password_input and has_login_keyword
    except Exception:
        return False

def search_login_page(target_domain: str) -> str | None:
    """查找目标站点的登录页地址"""
    base_url = target_domain if target_domain.startswith("http") else f"https://{target_domain}"
    # 第一步：枚举通用路径
    for path in LOGIN_PATH_POOL:
        test_url = urljoin(base_url, path)
        if is_real_login_page(test_url):
            return test_url
        time.sleep(random.uniform(0.5, 1.5)) # 加随机延时防反爬
    # 第二步：爬首页提取相关链接
    try:
        resp = requests.get(base_url, headers=HEADERS, timeout=5)
        soup = BeautifulSoup(resp.text, "html.parser")
        for a in soup.find_all("a", href=True):
            link_text = a.get_text(strip=True)
            full_link = urljoin(base_url, a["href"])
            # 匹配链接文本、href里的登录关键词
            if ("登录" in link_text or "登入" in link_text or "login" in a["href"].lower() or "signin" in a["href"].lower()):
                if is_real_login_page(full_link):
                    return full_link
            time.sleep(random.uniform(0.3, 1))
    except Exception:
        pass
    return None

# 调用示例
if __name__ == "__main__":
    target = "example.com"
    login_addr = search_login_page(target)
    print(f"匹配到的登录页地址：{login_addr if login_addr else '未找到'}")

落地注意事项 #

• 合规优先，不要爬取有明确反爬声明、涉及敏感内容的站点，控制请求频率不要给目标站点造成压力。
• 不要追求100%命中率，规则覆盖到85%以上的场景就够用，剩下的特殊站点单独做适配就行，全量上复杂模型性价比很低。
• 遇到需要滑块、验证码才能访问的站点直接跳过，没必要花成本做验证码破解，投入产出比极低。

内容的提问来源于stack exchange，提问作者Karan Mahajan