Scrapy中使用FormRequest.from_response时如何排除指定表单字段？

要在依赖FormRequest.from_response处理ASP.NET自动生成参数（如__VIEWSTATE、__EVENTVALIDATION）的前提下，排除特定表单字段，核心思路是先让框架解析出完整表单数据，再删除不需要的字段，最后提交修改后的请求。直接用formdata参数只能覆盖字段值，无法完全移除字段，因此需要以下操作：

方法一：解析表单数据后删除字段 #

先通过FormRequest.from_response获取完整的表单数据，删除目标字段后再构造请求：

from scrapy import FormRequest

def parse(self, response):
    # 解析ASP.NET表单，仅获取数据不提交
    temp_request = FormRequest.from_response(
        response,
        formxpath='//form[@id="aspnetForm"]',  # 替换为你的ASP.NET表单定位器
        dont_submit=True  # 关键：不提交请求，只生成表单数据
    )
    
    # 获取完整表单数据并删除不需要的字段
    formdata = temp_request.formdata
    unwanted_field = "你要排除的字段名"
    if unwanted_field in formdata:
        del formdata[unwanted_field]
    
    # 提交修改后的表单请求
    yield FormRequest(
        url=response.url,
        formdata=formdata,
        callback=self.parse_submit_result
    )

方法二：直接操作表单对象 #

如果需要更灵活地修改表单（比如调整提交按钮、字段属性），可以直接操作表单对象：

from scrapy import FormRequest

def parse(self, response):
    # 获取表单对象
    form_obj = FormRequest.from_response(
        response,
        formxpath='//form[@id="aspnetForm"]',
        dont_submit=True
    ).form
    
    # 删除目标字段
    unwanted_field = "你要排除的字段名"
    if unwanted_field in form_obj.fields:
        del form_obj.fields[unwanted_field]
    
    # 基于修改后的表单生成请求
    yield form_obj.request(
        url=response.url,
        callback=self.parse_submit_result
    )

关键说明 #

• 必须保留dont_submit=True参数：让框架只解析表单数据而不自动提交，给我们留出修改的空间。
• ASP.NET页面的自动生成参数（如__VIEWSTATE）会被from_response自动捕获，无需手动处理，只需删除你指定的字段即可。
• 不要用formdata={"unwanted_field": ""}的方式：这会提交空值而非完全排除字段，不符合需求。

内容的提问来源于stack exchange，提问作者Alex Key