SQL与Excel处理重复数据的差异及数据集合并实操验证疑问

我最近摸索出一套验证数据集合并后去重效果的实用流程，亲测有效，跟大家唠唠：

第一步：SQL端合并与初步统计 #

• 先将8个固定宽度的文本文件数据集分别导入SQL数据库
• 用UNION语句合并这些数据集——这里要划重点：UNION会自动去除合并后的重复行，而UNION ALL会保留所有记录（包括重复项）
• 执行代码后对比结果：用UNION ALL得到了6755条记录，用UNION得到了6669条，简单一算就知道SQL帮我们去掉了86条重复数据

第二步：Excel端双重验证 #

为了确保这个结果靠谱，我还做了双重验证：把这8个文本文件逐个导入Excel，手动合并成一个完整数据集后，用Excel的“删除重复值”功能处理，再统计处理前后的记录数差，以此来和SQL端的去重数量做交叉比对，确保两种方法的结果一致，避免单一工具可能出现的误差。

内容的提问来源于stack exchange，提问作者Calflamesfann