如何获取Python Requests库每一次重试尝试的日志记录?
解决方案
该需求完全可以实现,通过继承urllib3.util.retry.Retry类重写重试触发方法,即可注入自定义的日志输出逻辑,原有业务请求的代码无需做任何修改。
实现步骤
1. 自定义带日志的重试类
重写Retry类的increment方法,该方法是urllib3每次触发重试前的标准调用入口,我们可以在这里获取重试原因和等待时长并输出:
from requests import Session from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry class RetryWithLog(Retry): def increment(self, method=None, url=None, response=None, error=None, _pool=None, _stacktrace=None): # 获取本次重试的等待时长 wait_seconds = self.get_backoff_time() # 输出重试原因 if error: # 异常触发的重试 print(type(error).__name__) print(f'Retrying after {wait_seconds} seconds') elif response: # 状态码触发的重试 print(f'Status Code {response.status} Error') print(f'Retrying after {wait_seconds} seconds') # 保留父类原有重试逻辑,不修改原有重试规则 return super().increment(method, url, response, error, _pool, _stacktrace)
2. 替换原有重试类即可
将你原有代码中初始化Retry的部分替换为自定义的RetryWithLog,其余配置完全保留:
s = Session() retries = RetryWithLog( total=5, raise_on_redirect=True, raise_on_status=True, backoff_factor=1, status_forcelist=[ 500, 502, 503, 504 ] ) s.mount('http://', HTTPAdapter(max_retries=retries)) s.mount('https://', HTTPAdapter(max_retries=retries)) response = s.get('https://example.com')
补充说明
如果需要更规范的日志管理,可以把print替换为Python标准logging模块输出,支持记录时间、请求地址等扩展信息,适配不同的生产环境需求。
内容的提问来源于stack exchange,提问作者Hassan Sabir
相关产品推荐
相关产品推荐

