C#中使用WebClient下载XML文件时如何避免覆盖实现追加？

一、直接追加XML的问题 #

XML有严格的层级结构，必须有且仅有一个根节点。如果直接用文件追加模式写入每次下载的XML，会生成多个根节点的无效XML（比如<Root>...</Root><Root>...</Root>），后续解析或导入都会失败，所以不能直接追加XML内容到文件。

二、可行解决方案 #

方案1：内存合并XML后一次性写入 #

每次下载XML后，解析成XDocument对象，将子节点合并到主文档的根节点下，循环结束后再保存为完整的合法XML文件。示例代码：

using System.Xml.Linq;
using System.Net;

// 初始化带根节点的主文档
XDocument mainDoc = new XDocument(new XElement("Root"));
int page = 1;
bool hasMoreData = true;

while (hasMoreData)
{
    using (WebClient client = new WebClient())
    {
        // 替换为实际API分页请求地址
        string xmlContent = client.DownloadString($"https://供应商API地址?page={page}&pageSize=500");
        XDocument currentDoc = XDocument.Parse(xmlContent);
        
        // 将当前页的子节点（如Item）添加到主文档根节点
        foreach (var itemNode in currentDoc.Root.Elements())
        {
            mainDoc.Root.Add(itemNode);
        }
        
        // 判断是否还有更多数据（假设返回500条则还有下一页）
        hasMoreData = currentDoc.Root.Elements().Count() == 500;
        page++;
    }
}

// 保存合并后的完整XML
mainDoc.Save("全量数据.xml");

此方案生成的XML结构合法，便于后续导入SQL Server。

方案2：生成带编号的独立XML文件 #

若数据量极大、内存不足，可每次循环生成带页码的独立文件，避免覆盖。示例代码：

using System.Net;
using System.Xml.Linq;

int page = 1;
bool hasMoreData = true;

while (hasMoreData)
{
    using (WebClient client = new WebClient())
    {
        string filePath = $"数据_{page}.xml";
        // 下载到单独文件，不会覆盖已有内容
        client.DownloadFile($"https://供应商API地址?page={page}&pageSize=500", filePath);
        
        // 验证是否还有下一页数据
        XDocument currentDoc = XDocument.Load(filePath);
        hasMoreData = currentDoc.Root.Elements().Count() == 500;
        page++;
    }
}

后续导入SQL Server时，可逐个读取这些文件批量处理。

方案3：跳过XML文件，直接导入SQL Server #

如果最终目标是导入数据库，可跳过生成XML文件的步骤，解析后直接批量插入，效率更高。示例代码（ADO.NET实现）：

using System.Xml.Linq;
using System.Net;
using System.Data.SqlClient;

string connStr = "你的SQL Server连接字符串";
int page = 1;
bool hasMoreData = true;

while (hasMoreData)
{
    using (WebClient client = new WebClient())
    {
        string xmlContent = client.DownloadString($"https://供应商API地址?page={page}&pageSize=500");
        XDocument currentDoc = XDocument.Parse(xmlContent);
        
        // 映射XML节点到数据对象
        var dataItems = currentDoc.Root.Elements().Select(node => new
        {
            Id = node.Element("Id").Value,
            Name = node.Element("Name").Value,
            // 根据实际XML字段补充其他属性
        }).ToList();
        
        // 批量插入数据库
        using (SqlConnection conn = new SqlConnection(connStr))
        {
            conn.Open();
            using (SqlTransaction tran = conn.BeginTransaction())
            {
                try
                {
                    string insertSql = "INSERT INTO 目标表 (Id, Name) VALUES (@Id, @Name)";
                    foreach (var item in dataItems)
                    {
                        using (SqlCommand cmd = new SqlCommand(insertSql, conn, tran))
                        {
                            cmd.Parameters.AddWithValue("@Id", item.Id);
                            cmd.Parameters.AddWithValue("@Name", item.Name);
                            cmd.ExecuteNonQuery();
                        }
                    }
                    tran.Commit();
                }
                catch (Exception ex)
                {
                    tran.Rollback();
                    throw ex;
                }
            }
        }
        
        hasMoreData = dataItems.Count == 500;
        page++;
    }
}

三、XML新手实用提示 #

• 优先使用XDocument（LINQ to XML）处理XML，语法比传统XmlDocument更简洁。
• 若API返回的XML带命名空间，需先定义命名空间再获取节点：XNamespace ns = "http://供应商命名空间"; var node = element.Element(ns + "节点名");。
• 导入SQL Server时，除了代码插入，还可以用SQL的OPENROWSET(BULK)读取XML文件批量导入，或用SSIS工具可视化处理多文件导入。

内容的提问来源于stack exchange，提问作者SilverFish