Azure Web App无法访问部分外部URL的问题排查与解决请求

问题描述 #

在Azure美国西部2区域托管的后端API Web App，通过以下代码获取指定URL的页面内容：

using HttpClient httpClient = new HttpClient();
httpClient.Timeout = TimeSpan.FromMinutes(5);
var htmlContent = await httpClient.GetStringAsync(data.Url);
var browsingContext = BrowsingContext.New(Configuration.Default);
var browsingDocument = await browsingContext.OpenAsync(req => req.Content(htmlContent));
var textContent = browsingDocument.Body.TextContent;

访问https://www.allstate.com/auto-insurance/car-coverage-policies时出现超时，但访问https://www.youtube.com、https://www.google.com等URL正常，仅部分特定URL无法访问。

可能的解决方法 #

1. 模拟浏览器请求绕过反爬机制 #

很多网站会通过请求头识别非浏览器请求并拦截，给HttpClient添加浏览器风格的请求头：

using HttpClient httpClient = new HttpClient();
httpClient.Timeout = TimeSpan.FromMinutes(5);
// 添加常见浏览器请求头
httpClient.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36");
httpClient.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
httpClient.DefaultRequestHeaders.Add("Accept-Language", "en-US,en;q=0.5");
httpClient.DefaultRequestHeaders.Add("Connection", "keep-alive");

var htmlContent = await httpClient.GetStringAsync(data.Url);
// 后续处理代码不变

2. 检查Azure Web App出站IP是否被封禁 #

Azure Web App有固定的出站IP地址，在Azure门户的Web App网络 -> 出站IP地址页面可查看所有出站IP。将这些IP加入目标网站白名单（如有配置权限），或联系目标网站客服确认是否被封禁。

3. 配置Azure虚拟网络（VNet）集成改变出站IP #

若无法解除IP封禁，可通过VNet集成切换出站IP：

• 进入Azure门户Web App的网络 -> 虚拟网络集成，选择已有VNet或创建新VNet
• 配置完成后，Web App出站流量会通过VNet的公共IP（或NAT网关IP）发出，避开默认的Web App出站IP
• 搭配NAT网关可配置固定公共IP，方便加入目标网站白名单

4. 增加超时时间并添加重试机制 #

针对响应较慢的网站，在代码中添加重试逻辑并延长超时：

var policy = Policy
    .Handle<HttpRequestException>()
    .Or<TaskCanceledException>()
    .WaitAndRetryAsync(3, retryAttempt => TimeSpan.FromSeconds(Math.Pow(2, retryAttempt)));

var htmlContent = await policy.ExecuteAsync(async () =>
{
    using HttpClient httpClient = new HttpClient();
    httpClient.Timeout = TimeSpan.FromMinutes(10);
    // 添加浏览器请求头
    httpClient.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36");
    return await httpClient.GetStringAsync(data.Url);
});

需先安装Polly NuGet包实现重试功能。

内容的提问来源于stack exchange，提问作者AlphonseSun