You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

如何爬取需登录且依赖JS的Magister校园网站?

问题描述

我目前对网站请求的具体运作机制还搞不清楚,只懂GET、POST请求这些基础概念,不知道各部分是怎么交互的。我想写个Python程序,给我弟弟推送课程开始或取消的通知,得从学校网站拿数据。但这个网站的API不让公众用,难住我了。

我试过用mechanicalsoup发GET、POST请求登录,结果因为它不支持网站需要的JavaScript失败了;后来换成selenium,又找不到输入用户信息的表单,也没成功。我之前爬过Reddit这类网站都成了,但这个网站就是搞不定,已经折腾3天了,完全不知道该怎么办。网站地址是https://ozhw.magister.net。

附上我使用的Selenium脚本:

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By

driver = webdriver.Firefox()
driver.get("https://ozhw.magister.net")
driver.find_element(By.ID, "username").send_keys("private")

内容的提问来源于stack exchange,提问作者Zizilyx

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.12 11:22:02