如何使用Scrapy填充登录文本字段爬取Transfermarkt需登录的球员关注列表
Transfermarkt 全Scrapy流程登录爬取实现方案
核心误区澄清
之前判断“网站登录没有用POST方法”属于抓请求时的误判:你大概率只抓到了“打开登录弹窗”的GET请求,实际用户点登录按钮提交的表单,本质还是POST请求到站点根路径下的/login接口,完全可以用FormRequest完成,不需要切换Selenium。
分步操作流程
1. 提前收集登录请求的必填字段
打开浏览器开发者工具,切到Network面板,手动完成一次正常登录,抓全登录提交请求的所有参数:
- 可见输入框对应的表单name:用户名对应
username、密码对应password - 页面内嵌的隐藏校验字段:比如
csrf_token这类防跨站的随机值,这类值每次打开登录页都会刷新,不能硬编码写死 - 必带请求头:正确的
Referer、和浏览器一致的User-Agent,缺失会直接被反爬拦截
2. 重构Scrapy的请求链路
完全依托Scrapy的Cookie自动管理能力完成登录态维持,不需要混合Selenium流程:
- 先从爬虫的
start_requests发起对登录入口页的GET请求,从返回的HTML里自动解析所有隐藏表单字段 - 填入自己的账号、密码,构造合法的
FormRequest提交登录请求 - 登录成功后,Scrapy会自动把响应里的登录Cookie存入本地会话,后续访问关注列表、公开球员页时会自动带上登录态
3. 修正现有代码的现存问题
- 原代码里的域名参数拼写错误:Scrapy识别的参数是
allowed_domains(复数形式),原代码写的allowed_domain是单数字段,会触发域名访问拦截 - 原代码的parse方法里,球员姓名和市场价值用了完全相同的xpath匹配规则,两个字段的取值会完全重复,需要分别匹配对应表格节点下的文本
- 原代码导入了未使用的
time模块,属于冗余代码
可直接适配的修正后代码
import scrapy from scrapy.http import FormRequest from proj.items import ProjItem # 替换为你项目里的Item实际导入路径 class TMSpider(scrapy.Spider): name = 'scrapyfirst' allowed_domains = ["transfermarkt.com"] # 替换为你自己的账号信息 account_email = "你的注册邮箱" account_password = "你的登录密码" def start_requests(self): # 首先请求登录页,获取页面内嵌的动态校验字段 yield scrapy.Request( url="https://www.transfermarkt.com/login", callback=self.prepare_login_form, dont_filter=True ) def prepare_login_form(self, response): # 自动抓取登录页所有表单input的name-value对,避免漏带隐藏字段 form_data = {} input_nodes = response.xpath('//form[@id="login-form"]//input') for node in input_nodes: field_name = node.xpath('./@name').get() field_value = node.xpath('./@value').get(default="") if field_name: form_data[field_name] = field_value # 覆盖填入自己的账号密码 form_data["username"] = self.account_email form_data["password"] = self.account_password # 发起登录提交请求 yield FormRequest( url="https://www.transfermarkt.com/login", formdata=form_data, callback=self.start_crawl_after_login, headers={"Referer": "https://www.transfermarkt.com/login"} ) def start_crawl_after_login(self, response): # 登录完成后,批量生成需要爬取的目标页面请求 target_urls = [] # 加入你的个人关注列表分页地址 for page in range(1, 6): target_urls.append(f"https://www.transfermarkt.com/darrellcity/spielerWatchlist/meintm/1019535?page={page}") # 加入之前爬取的公开球员价值榜分页地址 for page in range(1, 11): target_urls.append(f"https://www.transfermarkt.com/spieler-statistik/wertvollstespieler/marktwertetop?page={page}") # 逐个发起爬取请求 for url in target_urls: yield scrapy.Request(url, callback=self.parse) def parse(self, response): item = ProjItem() # 分别匹配球员姓名、市场价值字段,解决原代码字段取值重复的问题 item['name'] = response.xpath('//table[@class="items"]//td[@class="hauptlink"]/a[not(contains(@href,"profil"))]/text()').getall() item['value'] = response.xpath('//table[@class="items"]//td[@class="rechts"]/a/text()').getall() yield item
常见踩坑提示
- 动态csrf字段不能硬编码:如果不先请求登录页拿最新的token,直接构造FormRequest提交,大概率会被站点返回403拦截
- 保持Scrapy的Cookie功能默认开启(
COOKIES_ENABLED = True),如果手动关闭Cookie自动管理,登录态不会被后续请求携带 - 不需要为了“填充输入框”模拟前端操作,Scrapy直接发送构造好的表单请求效率远高于Selenium模拟点击、输入的流程
内容的提问来源于stack exchange,提问作者ck1080779游至捷
相关产品推荐
相关产品推荐

