如何使用Python抓取Chegg教材解答页面并解决遇到的反爬问题

可行度说明 #

这个项目完全可以实现，你遇到的是爬虫入门阶段最常见的反爬拦截问题，只要按顺序补充以下知识就能逐步完成需求：

需要补充的核心知识 #

• HTTP 协议基础
  首先要搞懂请求头、Cookie、状态码、请求方法的基本规则。你当前代码的第一个问题就是请求头的键名写错了，正确的键是User-Agent而不是User Agent，少了横杠直接导致你的请求特征和正常浏览器差异过大，被平台直接识别拦截。后续你还需要了解Accept、Accept-Language、Referer等常见请求头字段的作用，这类教育类平台都会校验这些字段是否和普通浏览器的请求特征匹配。
• 反爬机制应对能力
  你现在遇到的是最基础的特征校验拦截，后续还可能遇到JS渲染、登录态校验、IP限流、验证码等问题，对应要学习的内容：
  • 熟练使用浏览器开发者工具的网络面板抓包，对比代码发起的请求和浏览器正常请求的差异，补全差异就能解决80%以上的初级反爬问题
  • 学习Selenium、Playwright这类自动化浏览器工具的使用，这类工具可以模拟真实浏览器的运行逻辑，自动支持JS执行和Cookie存储，不会出现你现在遇到的“JS被禁用”的报错
  • 学习Cookie持久化方法，Chegg需要登录才能查看完整答案，你可以手动在浏览器登录后复制Cookie到请求中，也可以用自动化工具模拟登录后保存登录状态，后续访问就不需要重复登录
• HTML 解析进阶
  你已经掌握了BeautifulSoup的基础用法，后续只要学会用CSS选择器或者XPath定位到代码块对应的元素，就能快速提取目标内容，这块只要多做几个小练习就能熟练。

你当前代码的快速优化方案 #

不需要直接上手复杂的技术，先改2个地方就能跑通第一步：

1. 修正请求头的键名，把{'User Agent': 'xxx'}改成{'User-Agent': 'xxx'}，再从浏览器的网络面板里复制正常请求带的其他请求头字段补全到你的head字典里
2. 如果不想手动拼接请求头，直接用Playwright启动真实浏览器访问，不需要手动处理请求特征，默认就和普通用户的访问行为一致，核心示例代码如下：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    # headless设为False可以看到浏览器运行过程，调试完再改成True
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    # 第一次可以先手动登录，登录后可以保存状态，后续不用重复登录
    page.goto("你的目标习题页URL")
    # 等待页面加载完成，替换成你要提取的代码块的CSS选择器
    page.wait_for_selector(".你的代码块元素类名")
    code_blocks = page.locator(".你的代码块元素类名").all_text_contents()
    for code in code_blocks:
        print(code)
    browser.close()

3. 额外注意控制请求频率，每访问一个页面间隔3-5秒，不要短时间发起大量请求，避免被平台封禁IP。

内容的提问来源于stack exchange，提问作者mvoight