C#中HttpWebRequest调用必应图片无结果问题求助

我之前碰到过类似的问题，必应对非浏览器请求做了不少限制，尤其是当请求缺少必要的会话Cookie和浏览器标识头时，会返回不完整的结果（比如不包含图片列表）。下面是我验证过的解决方案，能让你的C#代码模拟浏览器的请求行为，拿到和浏览器一致的必应图片搜索结果：

必应会通过请求头、会话Cookie等信息判断请求是否来自真实浏览器，我们需要在C#代码里还原这些关键信息：

1. 先获取必应的初始会话Cookie #

直接请求图片搜索页可能拿不到必要的会话Cookie，所以第一步要先请求必应主页，让服务器生成并返回合法的会话Cookie，后续请求再带上这些Cookie。

2. 复制浏览器的请求头字段 #

浏览器发送请求时会带上一堆标识字段，这些是必应识别合法请求的关键。重点要包含User-Agent、Accept、Accept-Language、Referer这些字段，最好直接从你自己的浏览器开发者工具（F12→网络面板）里复制真实的头信息。

3. 构造正确的图片搜索请求 #

用获取到的Cookie和完整请求头，发送GET请求到必应图片搜索的URL，注意对搜索关键词做URL编码。

private async void button1_Click(object sender, EventArgs e)
{
    string searchQuery = "plate for mechanical calculation";
    // 对搜索关键词进行URL编码，避免特殊字符导致请求错误
    string encodedQuery = System.Web.HttpUtility.UrlEncode(searchQuery);
    string bingHomeUrl = "https://www.bing.com/";
    string imageSearchUrl = $"https://www.bing.com/images/search?q={encodedQuery}";

    // 用HttpClientHandler管理Cookie会话
    using (var handler = new HttpClientHandler { UseCookies = true, CookieContainer = new CookieContainer() })
    using (var client = new HttpClient(handler))
    {
        // 第一步：请求必应主页，获取初始会话Cookie
        await client.GetAsync(bingHomeUrl);

        // 设置模拟浏览器的请求头（可以从自己浏览器的真实请求里复制更准确的字段）
        client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36");
        client.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
        client.DefaultRequestHeaders.Add("Accept-Language", "en-US,en;q=0.5");
        client.DefaultRequestHeaders.Add("Referer", bingHomeUrl);
        client.DefaultRequestHeaders.Add("Upgrade-Insecure-Requests", "1");

        // 第二步：发送图片搜索请求
        HttpResponseMessage response = await client.GetAsync(imageSearchUrl);
        response.EnsureSuccessStatusCode(); // 确保请求成功
        string htmlContent = await response.Content.ReadAsStringAsync();

        // 现在htmlContent里就是和浏览器一致的搜索结果HTML了
        // 你可以用HtmlAgilityPack（NuGet安装）来解析HTML提取图片URL
        // 示例解析代码（需要先安装HtmlAgilityPack）：
        // var doc = new HtmlAgilityPack.HtmlDocument();
        // doc.LoadHtml(htmlContent);
        // var imageNodes = doc.DocumentNode.SelectNodes("//img[@class='mimg']");
        // if (imageNodes != null)
        // {
        //     foreach (var node in imageNodes)
        //     {
        //         string imgUrl = node.GetAttributeValue("src", "");
        //         // 处理图片URL...
        //     }
        // }
    }
}

• 如果你用的是.NET Framework，需要确保引用了System.Net.Http和System.Web（用于URL编码）；.NET Core/.NET 5+则不需要额外引用System.Web，可以用Uri.EscapeDataString替代HttpUtility.UrlEncode。
• User-Agent尽量用最新的浏览器版本标识，避免被必应识别为过时的客户端。
• 不要频繁发送请求，必应的反爬机制可能会限制你的IP，必要时可以添加适当的延迟（比如await Task.Delay(1000)）。
• 如果还是拿不到正确结果，打开浏览器的开发者工具，对比代码发送的请求头和浏览器的真实请求头，把缺失的字段都补上。

内容的提问来源于stack exchange，提问作者kac26