如何配置C# HttpClient避免被拦截，稳定获取网站元数据？

我用C#的HttpClient获取网站元数据，用来在用户发送URL消息时生成预览。多数站点能正常获取，但大量站点拿不到预期数据。比如访问某站点时，Facebook和Twitter都能获取元数据并展示预览，但我的HttpClient返回的HTML是Cloudflare的「Attention Required!」页面，完全没有所需的元数据，第三方检测工具也拿不到该站的元数据。

我的获取代码如下：

HttpResponseMessage response = await httpClient.GetAsync(uri).ConfigureAwait(false);
HttpContent content = response.Content;
var html = content.ReadAsStringAsync().Result;

成功获取到的元数据示例：

<title>Forge Bridge Cottage | Coniston</title>
<meta property="og:title" content="Forge Bridge Cottage | Coniston">
<meta property="og:description" content="Coppermines Cottages | Forge Bridge Cottage | Coniston  Lake District Cottages">

请问怎么修改代码，像Facebook和Twitter那样稳定获取元数据，避免被识别为爬虫？能不能在请求里表明只需要公开的元数据？

解决方案 #

1. 模拟主流社交平台爬虫的请求头（核心） #

Cloudflare这类反爬系统会通过User-Agent识别请求来源，Facebook和Twitter的官方爬虫有固定标识，把请求头改成这些标识，大概率能绕过基础拦截：

// 初始化HttpClient时设置默认请求头
var httpClient = new HttpClient();
// 模拟Facebook爬虫的User-Agent
httpClient.DefaultRequestHeaders.UserAgent.ParseAdd("facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)");
// 或者模拟Twitter爬虫
// httpClient.DefaultRequestHeaders.UserAgent.ParseAdd("Twitterbot/1.0");

2. 修复异步代码的阻塞问题 #

你代码里用ReadAsStringAsync().Result会导致同步阻塞，改成异步等待更规范，也能避免潜在的线程死锁问题：

HttpResponseMessage response = await httpClient.GetAsync(uri).ConfigureAwait(false);
response.EnsureSuccessStatusCode(); // 确保请求返回成功状态，避免处理无效响应
var html = await response.Content.ReadAsStringAsync().ConfigureAwait(false);

3. 补充合规请求头，让请求更像合法爬虫 #

除了User-Agent，补充常见的请求头可以进一步降低被识别为爬虫的概率：

httpClient.DefaultRequestHeaders.Accept.ParseAdd("text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
httpClient.DefaultRequestHeaders.AcceptLanguage.ParseAdd("en-US,en;q=0.5");
httpClient.DefaultRequestHeaders.Referrer.ParseAdd("https://your-website-domain.com"); // 替换成你的站点域名

关于「表明仅需公开元数据」 #

目前没有通用的HTTP头或协议能直接告诉服务器只返回元数据。你可以尝试添加Range或Link头，但绝大多数服务器不支持这类约定。更实际的方式是用上述模拟合法爬虫的方法获取完整页面，再从中提取所需的元数据。

进阶处理（如果仍被拦截） #

• 处理Cloudflare人机验证：如果遇到更严格的验证，可能需要用无头浏览器（比如PuppeteerSharp）模拟真实浏览器行为，但这会增加代码复杂度和性能开销。
• 缓存已获取的元数据：避免重复请求同一站点，减少被反爬系统标记的概率。

内容的提问来源于stack exchange，提问作者Alex Cooper