如何使用C#下载HTML网页？批量带规律网页下载实现求助

当然可以用C#完成这类批量下载任务！而且实现起来并不复杂，下面我会结合你给出的代码框架，补充完整的下载实现细节。

核心实现思路 #

• 借助HttpClient类（.NET Core/.NET 5+推荐使用，比传统的WebClient更高效、灵活）发送HTTP请求获取网页内容
• 循环生成符合规律的URL地址
• 将获取到的HTML内容写入本地文件，保存到指定文件夹

补充完整的代码实现 #

你的基础循环框架没问题，我会帮你补全下载和保存的核心代码：

// 先确保引入必要的命名空间
using System;
using System.IO;
using System.Net.Http;
using System.Threading.Tasks;

class Program
{
    static async Task Main(string[] args)
    {
        // 初始化HttpClient（建议全局复用，不要在循环内重复创建）
        using (HttpClient client = new HttpClient())
        {
            // 创建保存文件的目标文件夹，不存在则自动创建
            string saveDirectory = "./downloaded_pages";
            Directory.CreateDirectory(saveDirectory);

            for (int i = 1; i < 81; i++)
            {
                string url = $"http://mywebsite.com/cats/page_{i}.html";
                string savePath = Path.Combine(saveDirectory, $"page_{i}.html");

                try
                {
                    // 发送GET请求获取网页内容
                    string htmlContent = await client.GetStringAsync(url);

                    // 将内容写入本地文件
                    await File.WriteAllTextAsync(savePath, htmlContent);

                    Console.WriteLine($"成功下载并保存：{savePath}");
                }
                catch (Exception ex)
                {
                    Console.WriteLine($"下载第{i}页失败：{ex.Message}");
                }
            }
        }
    }
}

重要注意事项 #

• 复用HttpClient：不要在循环里每次创建新的HttpClient实例，否则会耗尽系统socket连接资源，全局复用一个实例更高效
• 异常处理：网络请求容易出现网页不存在、网络中断等问题，加上异常捕获能避免程序直接崩溃
• 文件夹预创建：提前检查并创建目标文件夹，防止保存文件时因路径不存在报错
• 异步操作：使用async/await能让程序在等待网络响应时不阻塞主线程，提升批量下载效率
• 编码适配：如果网页使用非UTF-8编码，可手动指定编码（比如File.WriteAllTextAsync传入Encoding.GetEncoding("GB2312")参数）

如果你使用的是.NET Framework（而非.NET Core/.NET 5+），也可以用WebClient实现，代码示例如下：

using System;
using System.IO;
using System.Net;

class Program
{
    static void Main(string[] args)
    {
        string saveDirectory = "./downloaded_pages";
        Directory.CreateDirectory(saveDirectory);

        using (WebClient client = new WebClient())
        {
            for (int i = 1; i < 81; i++)
            {
                string url = $"http://mywebsite.com/cats/page_{i}.html";
                string savePath = Path.Combine(saveDirectory, $"page_{i}.html");

                try
                {
                    client.DownloadFile(url, savePath);
                    Console.WriteLine($"成功下载并保存：{savePath}");
                }
                catch (Exception ex)
                {
                    Console.WriteLine($"下载第{i}页失败：{ex.Message}");
                }
            }
        }
    }
}

内容的提问来源于stack exchange，提问作者Yasƨin Aysien