C#中跨数据源DataTable字段替换及批量数据处理咨询

咱们分两部分来解决你的问题：

问题1：实现数据替换与同步的具体步骤 #

1. 构建快速查找映射表 #

因为code在两个表中都是唯一的，咱们先把dtProducts里的code和name转成字典，这样后续查找对应名称的效率是O(1)，比嵌套循环遍历两个DataTable高效太多：

// 从dtProducts生成code->name的映射字典
var productNameLookup = dtProducts.AsEnumerable()
    .ToDictionary(
        row => row.Field<string>("code"), 
        row => row.Field<string>("name")
    );

2. 批量替换dtProductdetails的localname #

遍历dtProductdetails的每一行，用字典快速匹配对应的name，替换localname字段。这里要注意处理code不存在的情况，避免抛出异常：

foreach (var detailRow in dtProductdetails.AsEnumerable())
{
    string productCode = detailRow.Field<string>("code");
    
    // 尝试从字典中获取对应的name
    if (productNameLookup.TryGetValue(productCode, out string targetName))
    {
        // 替换localname为匹配到的name
        detailRow.SetField("localname", targetName);
    }
    else
    {
        // 可选：处理code不存在的场景，比如设为空、保留原值或者标记异常
        detailRow.SetField("localname", DBNull.Value); // 这里示例设为空，你可以按需调整
    }
}

3. 同步到SQL Server的第三个表 #

对于批量数据同步，SqlBulkCopy是最优选择，它比逐条执行INSERT语句快几个数量级。确保你的目标表结构和dtProductdetails匹配（或者手动映射列）：

// 替换成你的SQL Server连接字符串
string sqlConnString = "Server=yourServer;Database=yourDB;User Id=user;Password=pass;";

using (SqlConnection conn = new SqlConnection(sqlConnString))
{
    conn.Open();
    
    using (SqlBulkCopy bulkCopy = new SqlBulkCopy(conn))
    {
        // 设置目标表名
        bulkCopy.DestinationTableName = "YourThirdSQLTable";
        
        // 如果源表和目标表列名完全一致，可以省略手动映射；否则需要指定对应关系
        // 示例：如果目标表列名是id, product_code, product_name, price
        // bulkCopy.ColumnMappings.Add("id", "id");
        // bulkCopy.ColumnMappings.Add("code", "product_code");
        // bulkCopy.ColumnMappings.Add("localname", "product_name");
        // bulkCopy.ColumnMappings.Add("price", "price");
        
        // 可选：设置批次大小，避免一次性占用过多资源
        bulkCopy.BatchSize = 1000;
        
        // 写入数据
        bulkCopy.WriteToServer(dtProductdetails);
    }
}

问题2：处理10万条记录是否可行？ #

完全可行，但要注意几个性能优化点，确保流畅运行：

• 内存占用：10万条DataRow的内存占用其实不大（假设每条记录几十字节，总内存也就几MB到几十MB），普通服务器或PC都能轻松承载。如果内存确实紧张，可以考虑分批处理：比如把dtProductdetails分成每1万条一批，处理一批就同步一批，然后释放该批次的内存。
• 查找效率：用字典做映射是O(1)查找，10万条记录的替换过程基本是瞬间完成的，不会有性能瓶颈。
• 同步效率：SqlBulkCopy本身就是为批量数据设计的，10万条数据的写入时间通常在几秒到几十秒（取决于网络和服务器性能），远快于逐条插入。
• 读取数据优化：读取两个源表数据时，尽量用DataReader（比如SqlDataReader、OleDbDataReader）直接加载到DataTable，比用DataSet.Fill更高效，减少内存开销。

如果你的数据量还会继续增长，也可以考虑用数据库层面的同步（比如把Access数据导入SQL Server后再用JOIN更新），但用C#代码处理的方案对于10万条记录完全没问题。

内容的提问来源于stack exchange，提问作者Mangrio