从CakePHP迁移到Django后，如何解决Requests库请求耗时过长问题？

正在将基于CakePHP开发的网站迁移至Django框架，部分页面需要向其他网站发送GET/POST请求以收集信息。

CakePHP实现代码 #

$start = time();
$socket = new HttpSocket();
$api_ret = $socket->get($url,$data,$this->header);
$end = time();
CakeLog::write('Time', print_r($end-$start,true));

Django实现代码 #

import requests
from datetime import datetime
start = datetime.now()
api_ret = requests.get(url,data,headers=self.header)
end = datetime.now()
print((end-start).total_seconds())

经测试发现，使用Python Requests库的请求耗时远高于CakePHP的HttpSocket实现。请问是否存在用法错误？或者有其他可替代的库推荐？

排查与解答 #

可能的用法错误 #

• GET请求传参错误：CakePHP的HttpSocket->get()会把$data自动拼接成URL的查询参数；但Requests的get()方法中，data参数是作为请求体发送的，GET请求应该用params参数传递查询参数。误用data可能导致请求逻辑异常，额外增加耗时。正确写法：

  api_ret = requests.get(url, params=data, headers=self.header)
  

• 未复用连接：Requests默认支持连接复用，但如果每次请求都创建新的请求实例，会重复建立TCP连接，增加握手耗时。使用Session可以复用连接：

  import requests
  from datetime import datetime
  
  session = requests.Session()
  start = datetime.now()
  api_ret = session.get(url, params=data, headers=self.header)
  end = datetime.now()
  print((end-start).total_seconds())
  

• 缺少超时设置：Requests默认无超时限制，若第三方服务响应缓慢，会导致请求无意义等待。建议添加超时参数：

  api_ret = requests.get(url, params=data, headers=self.header, timeout=10)  # 设置10秒超时
  

替代库推荐 #

• httpx：支持同步/异步请求，性能优于Requests，API设计与Requests高度兼容，迁移成本低。示例：

  import httpx
  from datetime import datetime
  
  start = datetime.now()
  response = httpx.get(url, params=data, headers=self.header)
  end = datetime.now()
  print((end-start).total_seconds())
  

• urllib3：Requests的底层依赖库，直接使用可减少封装开销，适合对性能要求极高的场景。示例：

  import urllib3
  from datetime import datetime
  
  http = urllib3.PoolManager()
  start = datetime.now()
  response = http.request('GET', url, fields=data, headers=self.header)
  end = datetime.now()
  print((end-start).total_seconds())
  

内容的提问来源于stack exchange，提问作者Anonymous