Scrapy框架start_urls未解析、parse方法未触发问题排查

存在的问题 #

• 回调参数写法错误

FormRequest.from_response的callback参数需要传入方法引用，不需要主动调用传参。你写的callback=self.after_login(self,response)会直接触发方法执行，不会等到表单请求返回响应再调用，是导致流程异常的核心原因。

• 账号密码读取未处理换行符

readlines()方法读取的每一行内容默认携带末尾的\n换行符，直接传入表单会导致账号密码校验失败，需要用strip()去除首尾空白字符。

• 反爬拦截导致parse未触发

若确认parse方法完全没有被调用，优先检查两个配置项：

1. 项目settings.py中ROBOTSTXT_OBEY是否为True，Hubspot的robots协议可能限制爬取登录页，将该参数改为False即可
2. 检查是否配置了合法的USER_AGENT，默认Scrapy的UA会被站点反爬拦截，导致请求无响应自然不会触发parse方法

修正后完整代码 #

import scrapy
from scrapy.http import FormRequest

def authentication_failed(response):
    # 示例实现：检查响应中是否包含登录失败的特征字段，可根据实际返回内容调整
    return "Invalid email or password" in response.text

class LoginSpider(scrapy.Spider):
    name = 'example.com'
    start_urls = ["https://app.hubspot.com/login"]

    def parse(self, response):
        # 用with语句读取文件更安全，自动处理文件关闭
        with open("/PATH/auth.txt","r") as f:
            lines = f.readlines()
            username = lines[0].strip()
            password = lines[1].strip()
        
        yield scrapy.FormRequest.from_response(
            response,
            formdata={'email': username, 'password': password},
            # 仅传入方法引用，不需要加括号传参，Scrapy会自动传入响应对象
            callback=self.after_login
        )

    def after_login(self, response):
        if authentication_failed(response):
            self.logger.error("Login failed")
            return
        # 登录成功后可在此处编写后续爬取逻辑

内容的提问来源于stack exchange，提问作者Jcmoney1010