如何使用C#从网站拉取数据并将网页数据导入应用程序

前期准备 #

• 先确认目标站点的robots规则、数据版权要求，所有拉取行为需符合站点服务条款与相关法律法规，禁止爬取隐私、受版权保护的非公开内容
• 打开浏览器F12网络面板，判断目标数据的返回形式：是静态嵌入HTML源码、还是异步接口加载的JSON/XML数据，同时确认站点是否存在UA校验、Cookie鉴权、IP频次限制、验证码等反爬机制

数据拉取实现 #

基础HTTP请求（通用场景） #

优先使用.NET内置的HttpClient发请求，注意必须单例复用，不要每次请求新建实例，否则会出现套接字耗尽问题。示例代码：

// 全局单例初始化HttpClient
private static readonly HttpClient _httpClient = new HttpClient();
// 初始化请求头，模拟普通浏览器特征，降低被拦截概率
_httpClient.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36");
_httpClient.DefaultRequestHeaders.Referrer = new Uri("目标站点域名");
// 需要登录态的场景，把浏览器登录后拿到的Cookie字符串加到请求头即可
// _httpClient.DefaultRequestHeaders.Add("Cookie", "你的登录Cookie");

// 发起请求获取内容，不管是接口返回的JSON还是静态页HTML都可以用这个方式获取
var resp = await _httpClient.GetAsync("目标数据的实际请求地址");
resp.EnsureSuccessStatusCode();
string rawContent = await resp.Content.ReadAsStringAsync();

如果拉取的是接口返回的JSON数据，直接用内置的System.Text.Json或者Newtonsoft.Json反序列化为对应的C#实体类即可，这种方式解析成本最低，数据结构最清晰。

静态HTML内容解析 #

如果数据嵌在静态HTML源码中，不要用正则硬匹配（HTML结构不规范时正则极易出错，维护成本极高），直接通过NuGet安装HtmlAgilityPack库，用XPath语法定位节点提取数据，示例：

var htmlDoc = new HtmlDocument();
htmlDoc.LoadHtml(rawContent);
// 示例：提取页面所有class为content-item的容器下的标题、详情链接
var itemNodes = htmlDoc.DocumentNode.SelectNodes("//div[contains(@class,'content-item')]");
if (itemNodes != null)
{
    foreach (var node in itemNodes)
    {
        var titleNode = node.SelectSingleNode(".//h3/a");
        if (titleNode == null) continue;
        string title = titleNode.InnerText.Trim();
        string detailUrl = titleNode.GetAttributeValue("href", string.Empty);
        // 提取到字段后做基础清洗，去掉多余空白、转义字符、无效标签即可
    }
}

动态渲染页面处理 #

如果目标站点是Vue/React构建的单页应用，普通HTTP请求拿到的HTML只是空壳，数据需要JS执行后才会渲染到DOM上，优先按优先级选方案：

• 优先在F12网络面板找页面对应的后端数据接口，直接请求接口拿JSON，效率是渲染页面的10倍以上
• 接口有加密参数无法破解时，通过NuGet安装PuppeteerSharp或PlaywrightSharp，用内置无头浏览器模拟真实用户加载页面，等JS执行完成后再提取渲染后的DOM内容，缺点是资源占用高、请求速度慢，不适合大规模数据拉取

反爬适配注意点 #

• 控制请求频率，不要短时间内发起大量请求，建议每次请求间隔1-3秒随机延时，避免触发IP封禁
• 必要时补充Accept、Accept-Language等常规浏览器请求头，不要只带默认的HttpClient请求头
• IP被封禁时可以轮换代理IP，简单图形验证码可对接打码服务，复杂验证场景建议优先申请站点官方开放API，不要强行破解

数据导入落地 #

拿到清洗完成的结构化数据后，根据业务场景选择导入方式：

• 导入到应用数据库：用EF Core、SqlSugar等ORM做批量插入，插入前按唯一主键做去重校验，避免重复数据入库，同时校验字段类型、必填项是否符合要求，拦截脏数据
• 导入到桌面客户端本地存储：直接将结构化数据序列化为JSON，写入本地文件或内存缓存即可
• 导入到第三方业务系统：按照目标系统的接口规则做字段映射，携带鉴权信息提交数据即可

注意：批量导入时建议加断点续传、错误重试、异常日志记录逻辑，避免中途网络错误、程序崩溃导致重复导入或者数据丢失。

内容的提问来源于stack exchange，提问作者David