动态网页爬虫获取access token问题 现有代码无法提取token求解决方案
问题排查与修复方案
现有代码的核心问题
- 登录接口地址不匹配:你当前调用的是
https://apidch.kairosmining.com/auth/login第三方API登录接口,但目标站点是http://200.75.4.210:8080/CIODCH/login.aspx的ASP.NET站点,两个系统完全独立,请求错了登录地址自然拿不到对应目标站点的有效凭证。 - 缺少ASP.NET站点必备的校验参数:这类aspx站点登录通常需要携带
__VIEWSTATE、__EVENTVALIDATION等隐藏表单参数,直接硬编码账号密码发POST请求会被站点拦截。 - 缺少会话维持逻辑:你没有用会话对象维持请求上下文,即使登录成功,后续爬取目标页面也会因为没有会话凭证被拦截。
- 如果你是要调用kairosmining的API拿token,还要注意参数格式问题:部分接口要求传JSON格式参数而非form-data,用
data参数传参接口会识别失败。
调整后的实现方案
场景1:爬取200.75.4.210站点的目标页面
该场景不需要调用第三方API拿Bearer token,用站点自身的会话凭证即可访问,实现代码如下:
import requests from bs4 import BeautifulSoup # 初始化会话维持上下文,自动管理Cookie session = requests.Session() headers = { 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36' } # 第一步:GET请求登录页,提取隐藏表单参数 login_page_url = "http://200.75.4.210:8080/CIODCH/login.aspx" resp = session.get(login_page_url, headers=headers) soup = BeautifulSoup(resp.text, 'lxml') viewstate = soup.find('input', {'name': '__VIEWSTATE'})['value'] event_validation = soup.find('input', {'name': '__EVENTVALIDATION'})['value'] # 第二步:构造完整登录参数,发往目标站点登录地址 login_data = { '__VIEWSTATE': viewstate, '__EVENTVALIDATION': event_validation, # 可通过浏览器F12检查登录页表单,替换为实际的账号、密码输入框name属性值 'txtUsuario': "XXXXXXX", 'txtPassword': "123456789.", # 替换为实际的登录按钮name属性值 'btnLogin': '登录' } login_resp = session.post(login_page_url, headers=headers, data=login_data) # 第三步:登录成功后直接请求目标页面 target_url = "http://200.75.4.210:8080/CIODCH/Intra/calidadproducto/cpfvista.aspx" target_resp = session.get(target_url, headers=headers) print(target_resp.text)
场景2:需要调用kairosmining的API获取token
调整登录请求的参数传递方式即可:
# 把原代码的data=login改成json=login,适配接口的JSON参数要求 response = requests.post('https://apidch.kairosmining.com/auth/login', headers=headers, json=login).json() headers.update({'authorization': 'Bearer %s' % response['token']})
内容的提问来源于stack exchange,提问作者Elias Urra
相关产品推荐
相关产品推荐

