SQL Server 2016 XML列数据迁移至Cosmos DB的最佳方案咨询

针对你的一次性XML列迁移需求，我整理了几个实用的方案，从官方工具到自定义脚本都有，你可以根据自己的技术栈和偏好选择：

这个工具是官方提供的，专门针对异构数据源到Cosmos DB的迁移，处理10GB规模的数据完全没问题。核心是要先把SQL Server里的XML列转换成Cosmos DB支持的JSON格式，具体步骤如下：

• 先在SQL Server里创建一个视图，把XML列解析成JSON结构。比如你的XML列是类似<User><Id>1</Id><Name>John</Name></User>的格式，可以用这段SQL生成视图：

CREATE VIEW vw_XML_to_JSON
AS
SELECT
  -- 保留原表的非XML字段
  Id,
  CreateTime,
  -- 将XML列解析为JSON对象
  (SELECT 
     xml_node.value('(Id/text())[1]', 'INT') AS UserId,
     xml_node.value('(Name/text())[1]', 'VARCHAR(100)') AS UserName,
     xml_node.value('(Email/text())[1]', 'VARCHAR(100)') AS UserEmail
   FROM YourTable.XmlColumn.nodes('/User') AS T(xml_node)
   FOR JSON PATH, WITHOUT_ARRAY_WRAPPER) AS JsonDocument
FROM YourTable

这段SQL会把XML里的节点提取出来，转成单个JSON对象，方便迁移工具直接读取。

• 打开Azure Cosmos DB迁移工具，选择SQL Server作为数据源，填入连接信息后，选择刚才创建的视图作为源“表”。
• 目标端选择Azure Cosmos DB，配置好账户、数据库和容器（记得提前选好合适的分区键，比如JSON里的UserId，避免后续性能问题）。
• 字段映射阶段，直接把视图里的JsonDocument字段映射为Cosmos DB的文档内容，如果需要把其他非XML字段也包含进去，也可以在视图里合并成一个完整的JSON对象。
• 启动迁移即可，工具支持批量加载、断点续传，稳定性有保障，适合不想写太多代码的场景。

优点：官方工具，可视化配置，无需大量开发，适合一次性任务；缺点：需要熟悉XML的XPath语法来写解析SQL，对复杂XML结构的处理需要花点时间调试。

既然之后你们会用C# API直接写Cosmos DB，这个方案可以复用部分代码逻辑，上手也快，而且能灵活处理各种复杂的XML结构：

• 用SqlConnection连接SQL Server，分页批量读取数据（比如每次读1000条），避免一次性把10GB数据加载到内存里。
• 对每条记录的XML列，用XDocument或者XmlSerializer解析成.NET实体对象，再序列化为JSON（用Newtonsoft.Json或者System.Text.Json都可以）。
• 用Azure Cosmos DB的.NET SDK（Microsoft.Azure.Cosmos NuGet包）做批量写入，推荐用SDK内置的批量操作功能，能有效提升写入效率，同时要注意设置合适的重试策略，避免Cosmos DB限流。
• 可以加个简单的日志逻辑，记录已迁移的最大ID，万一迁移中断，下次可以从该ID继续，不用从头再来。

给你个简化的代码片段参考：

using Microsoft.Azure.Cosmos;
using System.Data.SqlClient;
using System.Xml.Linq;

var sqlConnString = "你的SQL Server连接字符串";
var cosmosConnString = "你的Cosmos DB连接字符串";
var lastMigratedId = 0; // 从日志文件读取上次中断的ID

// 初始化Cosmos客户端
var cosmosClient = new CosmosClient(cosmosConnString);
var container = cosmosClient.GetContainer("你的数据库名", "你的容器名");

// 批量读取SQL数据
using (var conn = new SqlConnection(sqlConnString))
{
    conn.Open();
    var cmd = new SqlCommand(@"SELECT Id, XmlColumn FROM YourTable WHERE Id > @LastId ORDER BY Id", conn);
    cmd.Parameters.AddWithValue("@LastId", lastMigratedId);
    
    using (var reader = cmd.ExecuteReader())
    {
        var batchItems = new List<object>();
        while (reader.Read())
        {
            var id = reader.GetInt32(0);
            var xmlContent = reader.GetString(1);
            var xmlDoc = XDocument.Parse(xmlContent);
            
            // 解析XML到实体对象
            var user = new User
            {
                Id = id.ToString(),
                Name = xmlDoc.Root.Element("Name")?.Value,
                Email = xmlDoc.Root.Element("Email")?.Value,
                // 其他字段根据XML结构补充
            };
            
            batchItems.Add(user);
            
            // 每100条批量提交一次
            if (batchItems.Count >= 100)
            {
                await container.CreateItemsAsync(batchItems, new PartitionKey(user.Id));
                // 更新日志记录lastMigratedId
                lastMigratedId = id;
                batchItems.Clear();
            }
        }
        
        // 提交剩余的条目
        if (batchItems.Count > 0)
        {
            await container.CreateItemsAsync(batchItems, new PartitionKey(batchItems.First<User>().Id));
        }
    }
}

// 实体类示例
public class User
{
    public string Id { get; set; }
    public string Name { get; set; }
    public string Email { get; set; }
}

优点：完全自定义，适配复杂XML结构，复用后续C# API的代码，方便调试和处理异常；缺点：需要写少量代码，但对于熟悉C#的团队来说成本很低，而且批量处理效率也很高。

如果你们已经在使用Azure的ETL工具，ADF也是一个不错的选择，适合不需要写代码的运维场景：

• 创建ADF管道，源数据集选择SQL Server，用自定义SQL查询（和方案1的视图逻辑一样）把XML转成JSON。
• 目标数据集选择Azure Cosmos DB，配置好文档的映射规则。
• 配置管道的运行参数，比如批量大小、重试次数，然后触发运行即可。ADF会自动处理数据的批量加载、监控和重试，适合大规模数据迁移。

优点：可视化ETL配置，无需代码，适合运维人员操作；缺点：需要熟悉ADF的配置流程，对于简单的一次性任务来说可能有点“重”。

方案选择建议 #

• 如果想快速完成迁移，优先选方案1（官方迁移工具），只要写好XML转JSON的视图就行；
• 如果想贴合后续的C#技术栈，方便后续维护，**方案2（自定义C#程序）**是最佳选择；
• 如果有Azure ETL经验，或者需要和其他数据流程整合，**方案3（ADF）**更合适。

最后提醒几个注意点：

• 迁移前先拿小批量数据测试，确保XML转JSON的结构符合Cosmos DB的要求；
• 迁移时可以临时调高Cosmos DB的RU值，避免被限流，迁移完成后再调回；
• 迁移前记得备份SQL Server的表数据，以防万一。

内容的提问来源于stack exchange，提问作者prasanth