如何爬取需登录且依赖JS的Magister校园网站?
问题描述
我目前对网站请求的具体运作机制还搞不清楚,只懂GET、POST请求这些基础概念,不知道各部分是怎么交互的。我想写个Python程序,给我弟弟推送课程开始或取消的通知,得从学校网站拿数据。但这个网站的API不让公众用,难住我了。
我试过用mechanicalsoup发GET、POST请求登录,结果因为它不支持网站需要的JavaScript失败了;后来换成selenium,又找不到输入用户信息的表单,也没成功。我之前爬过Reddit这类网站都成了,但这个网站就是搞不定,已经折腾3天了,完全不知道该怎么办。网站地址是https://ozhw.magister.net。
附上我使用的Selenium脚本:
from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By driver = webdriver.Firefox() driver.get("https://ozhw.magister.net") driver.find_element(By.ID, "username").send_keys("private")
内容的提问来源于stack exchange,提问作者Zizilyx
相关产品推荐
相关产品推荐

