使用requests的Python XPOST请求失败，curl请求正常的原因排查

这种情况我碰过好多次啦，绝对不是Python偷偷改了你的请求——问题出在curl和requests的默认行为有不少细微差别，服务器对这些差异很敏感。下面是几个最常见的原因，你可以挨个排查：

• 请求头的默认差异
  curl和requests的默认请求头天差地别：比如curl的User-Agent是curl/[版本号]，而requests默认是python-requests/[版本号]，有些服务器会直接拦截Python风格的UA。另外，如果你用curl的-d传参，它默认的Content-Type是application/x-www-form-urlencoded，但如果在requests里用json=参数传数据，requests会自动把Content-Type设为application/json——如果服务器期望的是表单编码，自然会返回异常。
  举个例子：你用curl执行curl -X POST http://your-api.com -d "username=foo&password=bar"，对应的requests代码应该用data={"username":"foo","password":"bar"}，而不是json=参数。

• 参数编码的细微区别
  curl会自动对-d里的特殊字符（比如空格、中文）做URL编码，但requests的编码逻辑可能和它不一样。比如curl里-d "name=张三"会自动转成name=%E5%BC%A0%E4%B8%89，但如果你在requests里直接传data="name=张三"而没指定编码，可能会用系统默认编码发送，导致服务器解析失败。

• Cookie/会话保持问题
  如果你的curl请求依赖之前登录的Cookie（比如用了-b cookie.txt加载Cookie），但Python代码是全新的请求，没有带上这些Cookie，服务器会认为你未授权，自然返回异常。curl默认可以通过-c/-b管理Cookie，但requests每次请求都是独立会话，你需要用requests.Session()来保持会话，或者手动在headers里添加Cookie字段。

• SSL证书验证的差异
  如果你用curl时加了-k跳过SSL证书验证，但requests默认是开启验证的——如果服务器的证书不被信任，requests会直接抛出SSLError。这时候你可以在requests请求里加verify=False（注意生产环境别这么干），或者指定合法的证书路径。

• 请求体格式不匹配
  比如你用curl的--data-binary发送原始二进制数据，或者用-H "Content-Type: text/plain"发送纯文本，但在requests里误把字符串放进json=参数，或者传字典时自动被编码成表单格式，这都会导致请求体和curl完全不一样。比如curl命令curl -X POST http://your-api.com -H "Content-Type: text/plain" --data-binary "@data.txt"，对应的requests代码应该是：

  import requests
  headers = {"Content-Type": "text/plain"}
  data = open("data.txt", "rb").read()
  response = requests.post("http://your-api.com", headers=headers, data=data)
  

快速排查技巧 #

最直接的方法是用curl -v查看curl发送的完整请求细节，然后在requests里1:1复刻这些内容。比如执行curl -v -X POST http://your-api.com -d "param=1"，把输出里所有以>开头的请求头（比如> Host: your-api.com、> User-Agent: curl/7.68.0）都复制到requests的headers字典里，请求体也完全照搬，这样就能快速定位是哪部分差异导致的问题。

内容的提问来源于stack exchange，提问作者MIDE11