You need to enable JavaScript to run this app. 动态网页爬虫获取access token问题 现有代码无法提取token求解决方案
优惠活动
大模型
产品
解决方案
定价
更多

动态网页爬虫获取access token问题 现有代码无法提取token求解决方案

问题排查与修复方案

现有代码的核心问题

  • 登录接口地址不匹配:你当前调用的是https://apidch.kairosmining.com/auth/login第三方API登录接口,但目标站点是http://200.75.4.210:8080/CIODCH/login.aspx的ASP.NET站点,两个系统完全独立,请求错了登录地址自然拿不到对应目标站点的有效凭证。
  • 缺少ASP.NET站点必备的校验参数:这类aspx站点登录通常需要携带__VIEWSTATE、__EVENTVALIDATION等隐藏表单参数,直接硬编码账号密码发POST请求会被站点拦截。
  • 缺少会话维持逻辑:你没有用会话对象维持请求上下文,即使登录成功,后续爬取目标页面也会因为没有会话凭证被拦截。
  • 如果你是要调用kairosmining的API拿token,还要注意参数格式问题:部分接口要求传JSON格式参数而非form-data,用data参数传参接口会识别失败。

调整后的实现方案

场景1:爬取200.75.4.210站点的目标页面

该场景不需要调用第三方API拿Bearer token,用站点自身的会话凭证即可访问,实现代码如下:

import requests
from bs4 import BeautifulSoup

# 初始化会话维持上下文,自动管理Cookie
session = requests.Session()
headers = {
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36'
}

# 第一步:GET请求登录页,提取隐藏表单参数
login_page_url = "http://200.75.4.210:8080/CIODCH/login.aspx"
resp = session.get(login_page_url, headers=headers)
soup = BeautifulSoup(resp.text, 'lxml')

viewstate = soup.find('input', {'name': '__VIEWSTATE'})['value']
event_validation = soup.find('input', {'name': '__EVENTVALIDATION'})['value']

# 第二步:构造完整登录参数,发往目标站点登录地址
login_data = {
    '__VIEWSTATE': viewstate,
    '__EVENTVALIDATION': event_validation,
    # 可通过浏览器F12检查登录页表单,替换为实际的账号、密码输入框name属性值
    'txtUsuario': "XXXXXXX",
    'txtPassword': "123456789.",
    # 替换为实际的登录按钮name属性值
    'btnLogin': '登录'
}
login_resp = session.post(login_page_url, headers=headers, data=login_data)

# 第三步:登录成功后直接请求目标页面
target_url = "http://200.75.4.210:8080/CIODCH/Intra/calidadproducto/cpfvista.aspx"
target_resp = session.get(target_url, headers=headers)
print(target_resp.text)

场景2:需要调用kairosmining的API获取token

调整登录请求的参数传递方式即可:

# 把原代码的data=login改成json=login,适配接口的JSON参数要求
response = requests.post('https://apidch.kairosmining.com/auth/login', headers=headers, json=login).json()
headers.update({'authorization': 'Bearer %s' % response['token']})

内容的提问来源于stack exchange,提问作者Elias Urra

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.11 00:30:01