Python多线程场景下requests包域名解析失败问题排查

一、DNS解析层面的潜在问题 #

• Azure DNS resolver并发限制：Azure Web App依赖的DNS解析服务存在并发查询阈值，短时间内多线程发起大量DNS请求时，超出服务处理能力，导致部分请求失败。本地Mac环境的DNS resolver没有这类严格限制，因此难以复现。
• DNS缓存未命中/失效：当前代码未显式管理DNS缓存，requests每次请求都会重新触发域名解析。若目标域名TTL较短，或Azure本地DNS缓存出现临时失效，就会出现偶发的解析失败。
• 目标域名DNS服务不稳定：目标域名的DNS服务器存在偶发响应超时或错误返回的情况，在高并发请求场景下，这类不稳定会被放大，表现为每50次请求出现一次失败。

二、多线程与请求实现的资源竞争问题 #

• 无会话管理的资源消耗：代码未使用requests.Session，每次请求都新建独立连接，底层urllib3在多线程场景下，会频繁触发DNS解析系统调用。虽然Python的socket.getaddrinfo是线程安全的，但系统层面的DNS查询资源（如套接字、文件描述符）存在上限，大量并发请求会耗尽这些资源，导致解析失败。
• 线程过载导致系统资源紧张：短时间内创建大量daemon线程发起请求，会占用过多系统资源，间接影响DNS解析服务的正常运行，引发偶发失败。

三、Azure Web App的环境限制 #

• 网络配额触发限制：Azure Web App有出站请求并发数、DNS查询频率等配额限制，当请求量达到阈值时，部分请求会被平台限制，表现为域名解析失败。
• 虚拟网络/防火墙临时波动：若Web App部署在虚拟网络中，防火墙规则、路由策略的临时调整或波动，可能导致DNS请求无法正常抵达解析服务器，引发偶发的解析错误。

四、重试机制的缺失 #

• 当前代码未针对DNS解析失败配置针对性重试策略，urllib3默认重试逻辑可能未覆盖NameResolutionError这类场景，导致单次解析失败直接触发报错，没有重试机会放大了失败概率。

内容的提问来源于stack exchange，提问作者NiklasF