如何快速验证Scrapy登录GitHub是否成功？

我尝试使用Scrapy登录GitHub，写了以下代码：

# -*- coding: utf-8 -*-
import scrapy

class AutoreplySpider(scrapy.Spider):
    name = 'AutoLogin'
    allowed_domains = ['github.com']
    start_urls = ['https://github.com/login']

    def parse(self, response):
        return scrapy.FormRequest.from_response(
            response,
            formdata={
                'login': 'ac',
                'password': 'pw'
            },
            callback=self.reply
        )

    def after_login(self, response):
        pass

我手动登录GitHub时勾选了“记住用户名和密码”选项，未登出时再次访问可自动登录。但运行上述脚本后无报错，手动访问GitHub仍需登录，我不确定代码是否生效，许久未使用Scrapy，想了解快速验证登录是否成功的方法，谢谢！

嘿，先给你提个小细节：你代码里FormRequest的callback写的是self.reply，但实际定义的方法是after_login，这会导致登录后的回调根本不会执行，这可能是你觉得没反应的原因之一哦！先把这个小错误修正过来，然后试试下面这些验证方法：

• 检查响应中的登录后专属内容
  登录成功后，GitHub页面会出现只有登录状态才有的元素，比如右上角的用户名、“Sign out”按钮。你可以在after_login方法里检测这些内容：

  def after_login(self, response):
      # 检测是否存在登出按钮文本
      if "Sign out" in response.text:
          self.logger.info("🎉 登录成功！")
      else:
          self.logger.warning("⚠️ 登录失败，未找到登录后的标识")
      # 把响应内容保存到本地，方便直观查看页面状态
      with open("github_post_login.html", "wb") as f:
          f.write(response.body)
  

  运行脚本后打开生成的HTML文件，就能清楚看到登录后的页面状态了。

• 查看爬虫会话的Cookie
  GitHub登录成功后会生成会话Cookie（比如user_session），你可以打印当前爬虫的Cookie来确认：

  def after_login(self, response):
      # 筛选并打印GitHub相关的Cookie
      for cookie in self.cookies:
          if cookie['domain'] == '.github.com':
              self.logger.info(f"GitHub Cookie: {cookie['name']} = {cookie['value'][:20]}...")
  

  如果能看到有效会话Cookie，说明登录流程已经成功建立了会话。

• 请求登录后才能访问的页面
  比如请求你的个人主页，验证是否能正常访问并获取到个人信息：

  def after_login(self, response):
      # 发起个人主页请求
      yield scrapy.Request(
          url="https://github.com/你的用户名",
          callback=self.check_profile
      )
  
  def check_profile(self, response):
      if "你的用户名" in response.text:
          self.logger.info("✅ 登录成功，已能访问个人主页！")
      else:
          self.logger.warning("❌ 登录失败，无法访问个人主页")
  

最后补充个小知识点：Scrapy的爬虫会话和你的浏览器是完全独立的，两者的Cookie不共享，所以脚本运行后浏览器还是需要手动登录是正常现象，不用在意这个哦~

内容的提问来源于stack exchange，提问作者user8314628