如何编写SQL Merge语句解决固定宽度文件导入的重复主键问题

我明白你现在的痛点——之前用FoxPro合并28个固定宽度文件时完全不用操心重复数据的问题，现在转到SQL Server Express搭配SSMS，用导入向导单独导入文件时一碰到重复主键就报错。别担心，用SQL的MERGE语句就能完美搞定这个需求，既能批量合并所有文件的数据，又能灵活控制重复数据的处理逻辑。

第一步：先把所有固定宽度文件导入到中间表（Staging Table） #

直接对原文件执行MERGE不太方便，建议先创建一个中间表（比如命名为Staging_FixedWidthData），结构和你的最终目标表完全一致，但不要设置主键约束——先把28个文件的所有数据都导入进来再说。

你可以用SSMS的导入向导逐个导入，也可以用BULK INSERT命令批量处理固定宽度文件，示例命令如下：

BULK INSERT Staging_FixedWidthData
FROM 'C:\YourDataFiles\File01.txt'
WITH (
    FORMATFILE = 'C:\YourDataFiles\FixedWidth_Format.xml', -- 固定宽度的格式定义文件，需要提前创建
    FIRSTROW = 2, -- 如果文件包含表头行，就跳过第一行
    CODEPAGE = 'RAW'
);

重复执行这个命令，把28个文件全部导入到中间表中。

第二步：用MERGE语句合并到目标表 #

现在中间表已经存储了所有文件的完整数据，接下来用MERGE语句对比目标表和中间表的主键，决定是插入新数据还是处理重复项（完全匹配你需要的逻辑）。

假设你的目标表是Final_MergedData，主键字段是RecordID，示例代码如下：

MERGE INTO Final_MergedData AS Target
USING Staging_FixedWidthData AS Source
ON Target.RecordID = Source.RecordID -- 用主键判断是否为重复数据

-- 逻辑1：如果是目标表中没有的新数据，直接插入
WHEN NOT MATCHED BY Target THEN
    INSERT (RecordID, CustomerName, OrderDate, Amount) -- 列出所有需要插入的字段
    VALUES (Source.RecordID, Source.CustomerName, Source.OrderDate, Source.Amount)

-- 逻辑2：如果遇到重复主键（和FoxPro行为一致的话，这里可以忽略；如果需要更新旧数据就保留）
-- 如果你想和FoxPro一样跳过重复，直接删掉下面的WHEN MATCHED块即可
WHEN MATCHED THEN
    UPDATE SET
        Target.CustomerName = Source.CustomerName,
        Target.OrderDate = Source.OrderDate,
        Target.Amount = Source.Amount; -- 按需更新需要覆盖的字段

核心逻辑说明： #

• 完全复刻FoxPro行为：如果只需要跳过重复数据，不需要更新，那就只保留WHEN NOT MATCHED BY Target的插入逻辑，删掉WHEN MATCHED的部分即可，这样重复主键的数据会被直接忽略。
• 更新重复数据：如果希望新文件里的重复数据覆盖目标表中的旧数据，就保留WHEN MATCHED的更新逻辑，按需设置要更新的字段。

第三步：清理中间表（可选） #

合并完成后，可以清空中间表，方便后续重复使用：

TRUNCATE TABLE Staging_FixedWidthData;

内容的提问来源于stack exchange，提问作者Calflamesfann