终端curl与Python subprocess/requests调用curl输出差异的解决方法问询

先排查核心差异 #

终端curl能返回全量数据，大概率是因为请求的细节（比如请求头、参数）和Python里的请求不一样。先在终端执行 curl -v 你的完整API命令，把请求头、参数等信息全部打印出来，对比Python中requests/subprocess的请求，重点看：

• User-Agent（curl默认UA是curl/[版本号]，而requests默认是python-requests/[版本号]，很多API会根据UA返回不同结果）
• 其他请求头（比如Accept、Accept-Encoding）
• 是否带有特殊参数（比如?fetch_all=true这类触发全量返回的参数）

具体实现方式 #

1. 复刻curl的请求到Python

把curl的请求头完全复制到requests里，示例代码：

import requests

# 从curl -v的输出里复制完整请求头
headers = {
    'User-Agent': 'curl/7.81.0',  # 替换成你终端curl的实际版本
    'Accept': '*/*',
    'Accept-Encoding': 'gzip, deflate, br',
    'Authorization': 'Bearer 你的API密钥'  # 你的认证头
}

response = requests.get('你的API地址', headers=headers)
full_data = response.json()

2. 直接在Python里调用curl命令

如果复刻请求头没用，直接用subprocess调用curl命令捕获输出，这样就能拿到和终端完全一致的结果：

import subprocess

# 用列表形式传参，避免命令注入风险
curl_command = [
    'curl',
    '-s',  # 静默模式，不输出进度条
    '你的API地址',
    '-H', 'Authorization: Bearer 你的API密钥'
]
result = subprocess.run(curl_command, capture_output=True, text=True)
full_json_str = result.stdout
# 需要解析JSON的话，用json.loads(full_json_str)即可

3. 检查API是否支持全量请求参数

去API官方文档里找有没有一次性获取全量数据的参数，比如?per_page=-1、?fetch_all=true这类，可能你在终端curl里无意中带了这个参数，但Python代码里没加。

内容的提问来源于stack exchange，提问作者user1717931