You need to enable JavaScript to run this app. 如何使用Scrapy填充登录文本字段爬取Transfermarkt需登录的球员关注列表
优惠活动
大模型
产品
解决方案
定价
更多

如何使用Scrapy填充登录文本字段爬取Transfermarkt需登录的球员关注列表

Transfermarkt 全Scrapy流程登录爬取实现方案

核心误区澄清

之前判断“网站登录没有用POST方法”属于抓请求时的误判:你大概率只抓到了“打开登录弹窗”的GET请求,实际用户点登录按钮提交的表单,本质还是POST请求到站点根路径下的/login接口,完全可以用FormRequest完成,不需要切换Selenium。

分步操作流程

1. 提前收集登录请求的必填字段

打开浏览器开发者工具,切到Network面板,手动完成一次正常登录,抓全登录提交请求的所有参数:

  • 可见输入框对应的表单name:用户名对应username、密码对应password
  • 页面内嵌的隐藏校验字段:比如csrf_token这类防跨站的随机值,这类值每次打开登录页都会刷新,不能硬编码写死
  • 必带请求头:正确的Referer、和浏览器一致的User-Agent,缺失会直接被反爬拦截

2. 重构Scrapy的请求链路

完全依托Scrapy的Cookie自动管理能力完成登录态维持,不需要混合Selenium流程:

  • 先从爬虫的start_requests发起对登录入口页的GET请求,从返回的HTML里自动解析所有隐藏表单字段
  • 填入自己的账号、密码,构造合法的FormRequest提交登录请求
  • 登录成功后,Scrapy会自动把响应里的登录Cookie存入本地会话,后续访问关注列表、公开球员页时会自动带上登录态

3. 修正现有代码的现存问题

  • 原代码里的域名参数拼写错误:Scrapy识别的参数是allowed_domains(复数形式),原代码写的allowed_domain是单数字段,会触发域名访问拦截
  • 原代码的parse方法里,球员姓名和市场价值用了完全相同的xpath匹配规则,两个字段的取值会完全重复,需要分别匹配对应表格节点下的文本
  • 原代码导入了未使用的time模块,属于冗余代码

可直接适配的修正后代码

import scrapy
from scrapy.http import FormRequest
from proj.items import ProjItem  # 替换为你项目里的Item实际导入路径

class TMSpider(scrapy.Spider):
    name = 'scrapyfirst'
    allowed_domains = ["transfermarkt.com"]
    # 替换为你自己的账号信息
    account_email = "你的注册邮箱"
    account_password = "你的登录密码"

    def start_requests(self):
        # 首先请求登录页,获取页面内嵌的动态校验字段
        yield scrapy.Request(
            url="https://www.transfermarkt.com/login",
            callback=self.prepare_login_form,
            dont_filter=True
        )

    def prepare_login_form(self, response):
        # 自动抓取登录页所有表单input的name-value对,避免漏带隐藏字段
        form_data = {}
        input_nodes = response.xpath('//form[@id="login-form"]//input')
        for node in input_nodes:
            field_name = node.xpath('./@name').get()
            field_value = node.xpath('./@value').get(default="")
            if field_name:
                form_data[field_name] = field_value
        # 覆盖填入自己的账号密码
        form_data["username"] = self.account_email
        form_data["password"] = self.account_password
        # 发起登录提交请求
        yield FormRequest(
            url="https://www.transfermarkt.com/login",
            formdata=form_data,
            callback=self.start_crawl_after_login,
            headers={"Referer": "https://www.transfermarkt.com/login"}
        )

    def start_crawl_after_login(self, response):
        # 登录完成后,批量生成需要爬取的目标页面请求
        target_urls = []
        # 加入你的个人关注列表分页地址
        for page in range(1, 6):
            target_urls.append(f"https://www.transfermarkt.com/darrellcity/spielerWatchlist/meintm/1019535?page={page}")
        # 加入之前爬取的公开球员价值榜分页地址
        for page in range(1, 11):
            target_urls.append(f"https://www.transfermarkt.com/spieler-statistik/wertvollstespieler/marktwertetop?page={page}")
        # 逐个发起爬取请求
        for url in target_urls:
            yield scrapy.Request(url, callback=self.parse)

    def parse(self, response):
        item = ProjItem()
        # 分别匹配球员姓名、市场价值字段,解决原代码字段取值重复的问题
        item['name'] = response.xpath('//table[@class="items"]//td[@class="hauptlink"]/a[not(contains(@href,"profil"))]/text()').getall()
        item['value'] = response.xpath('//table[@class="items"]//td[@class="rechts"]/a/text()').getall()
        yield item

常见踩坑提示

  • 动态csrf字段不能硬编码:如果不先请求登录页拿最新的token,直接构造FormRequest提交,大概率会被站点返回403拦截
  • 保持Scrapy的Cookie功能默认开启(COOKIES_ENABLED = True),如果手动关闭Cookie自动管理,登录态不会被后续请求携带
  • 不需要为了“填充输入框”模拟前端操作,Scrapy直接发送构造好的表单请求效率远高于Selenium模拟点击、输入的流程

内容的提问来源于stack exchange,提问作者ck1080779游至捷

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.18 11:15:03