Python发送POST请求返回500错误，网页表单提交问题排查

问题背景 #

尝试抓取某网站数据，该网站需通过提交POST请求的表单获取数据。GET请求返回200状态码正常，但POST请求返回500状态码。提交表单时仅将「Please Enter Applicant Name」字段设为ltd，其余字段使用默认值，同时发现Published和Granted两个复选框字段与同名隐藏字段共存，不确定是否因此导致问题。

执行代码 #

from bs4 import BeautifulSoup
import requests

headers = {
    'Content-Type':'application/x-www-form-urlencoded',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
url = 'https://ipindiaservices.gov.in/PublicSearch/PublicationSearch/Search'

with requests.Session() as s:
    response = s.get('https://ipindiaservices.gov.in/PublicSearch/PublicationSearch/', headers=headers)
    
    soup = BeautifulSoup(response.content, 'html.parser')
    hidden = soup.find_all("input", {'type':'hidden'})
    params = {x["name"]: x["value"] for x in hidden}
    params['TextField6'] = 'ltd'
    response = s.post(url, headers=headers, params=params)
    soup = BeautifulSoup(response.content, 'html.parser')
    print(response)

表单字段异常点 #

页面中Published和Granted字段的HTML结构如下：

<input checked="checked" data-val="true" data-val-required="The Published field is required." id="Published" name="Published" title="Published" type="checkbox" value="true"/>
<input name="Published" type="hidden" value="false"/>
<input data-val="true" data-val-required="The Granted field is required." id="Granted" name="Granted" title="Granted" type="checkbox" value="true"/> 
<input name="Granted" type="hidden" value="false"/>

错误原因分析及修复方案 #

1. POST参数传递方式错误 #

代码中使用params=params传递表单数据，这会将参数拼接到URL的查询字符串中，而POST表单数据应该放在请求体里，需要改用data=params。这是导致500错误的核心原因之一。

2. 复选框字段值处理错误 #

页面中Published复选框默认是勾选状态，后端期望接收Published=true，但代码中仅提取了隐藏字段的false值，导致参数值与实际页面提交状态不符，触发后端必填字段验证失败。

修正后的代码 #

from bs4 import BeautifulSoup
import requests

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
url = 'https://ipindiaservices.gov.in/PublicSearch/PublicationSearch/Search'

with requests.Session() as s:
    response = s.get('https://ipindiaservices.gov.in/PublicSearch/PublicationSearch/', headers=headers)
    
    soup = BeautifulSoup(response.content, 'html.parser')
    # 提取所有表单输入字段（包括复选框和隐藏字段）
    all_inputs = soup.find_all("input")
    params = {}
    for input_tag in all_inputs:
        name = input_tag.get("name")
        if not name:
            continue
        # 处理复选框：如果是勾选状态，优先使用复选框的value
        if input_tag.get("type") == "checkbox" and input_tag.get("checked") == "checked":
            params[name] = input_tag.get("value")
        # 隐藏字段仅在复选框未勾选时添加（避免覆盖）
        elif input_tag.get("type") == "hidden":
            if name not in params:
                params[name] = input_tag.get("value")
    
    # 设置申请人名字段
    params['TextField6'] = 'ltd'
    # 使用data参数传递表单数据到请求体
    response = s.post(url, headers=headers, data=params)
    print(response.status_code)
    # 解析响应内容
    soup = BeautifulSoup(response.content, 'html.parser')
    # 可添加代码提取所需数据

额外注意事项 #

• 无需手动设置Content-Type，requests在使用data传递表单数据时会自动设置为application/x-www-form-urlencoded。
• 确保所有必填字段都有合法值，若TextField1-15为非必填字段，可保留为空字符串而非空格，避免后端格式验证报错。

内容的提问来源于stack exchange，提问作者javascriptdeveloper84