如何用C#获取YouTube ArtistHub指定页面源码？解决浏览器不支持报错

这个报错的核心原因是YouTube ArtistHub会校验请求的**User-Agent（用户代理）**头——默认的HttpWebRequest发送的请求头没有模拟现代浏览器的标识，被网站判定为“不支持的浏览器”了。下面是具体的解决方法：

1. 模拟浏览器请求头 #

你需要给请求添加符合现代浏览器标准的请求头，重点是设置真实的User-Agent，同时补充其他常见请求头让请求更接近真实浏览器的行为。

2. 完整可运行代码示例 #

using System;
using System.IO;
using System.Net;

class Program
{
    static void Main()
    {
        string targetUrl = "https://artists.youtube.com/charts/tracks?hl=tr";
        
        // 创建请求实例
        HttpWebRequest request = (HttpWebRequest)WebRequest.Create(targetUrl);
        
        // 设置模拟Chrome浏览器的请求头
        request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36";
        request.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8";
        request.AcceptLanguage = "tr-TR,tr;q=0.8,en-US;q=0.5,en;q=0.3";
        request.Headers.Add(HttpRequestHeader.AcceptEncoding, "gzip, deflate, br");
        request.Headers.Add(HttpRequestHeader.CacheControl, "max-age=0");
        
        try
        {
            // 获取响应并读取源码
            using (HttpWebResponse response = (HttpWebResponse)request.GetResponse())
            using (Stream responseStream = response.GetResponseStream())
            using (StreamReader reader = new StreamReader(responseStream))
            {
                string pageSource = reader.ReadToEnd();
                Console.WriteLine(pageSource);
                // 这里可以将源码保存到文件或进行后续处理
            }
        }
        catch (WebException ex)
        {
            // 捕获并输出异常细节，方便排查问题
            if (ex.Response is HttpWebResponse errorResponse)
            {
                Console.WriteLine($"请求出错，状态码：{(int)errorResponse.StatusCode} {errorResponse.StatusDescription}");
                using (StreamReader errorReader = new StreamReader(errorResponse.GetResponseStream()))
                {
                    Console.WriteLine("错误详情：" + errorReader.ReadToEnd());
                }
            }
            else
            {
                Console.WriteLine("请求失败：" + ex.Message);
            }
        }
    }
}

3. 额外注意事项 #

• 如果后续发现获取到的源码只有页面框架、没有实际榜单内容，说明页面是通过JavaScript动态渲染的——HttpWebRequest只能获取静态HTML，这时候你需要用Selenium、PuppeteerSharp这类能模拟浏览器运行JS的工具来抓取完整内容。
• 不要频繁发送请求，避免触发YouTube的反爬机制导致IP被封禁。

内容的提问来源于stack exchange，提问作者Anıl Sarı