如何验证SQL Server 2014导入平面文件的全量数据是否存在于表中？

我来帮你梳理这种无唯一校验列、但列数一致且目标表行数偏多的验证方案，毕竟没有校验列确实有点麻烦，但咱们可以从这几个方向入手：

1. 生成每行的哈希值做精准对比 #

因为列数一致，咱们可以把每行的所有字段拼接成一个字符串（注意处理NULL值和数据类型转换，用分隔符避免字段内容混淆），然后生成哈希值，对比源文件和目标表的哈希集合，就能找出差异的行。

SQL Server端生成每行哈希： #

SELECT 
  HASHBYTES('SHA2_256', 
    CONCAT(
      ISNULL(CAST(Col1 AS VARCHAR(MAX)), ''), '|', -- 用|做分隔符，避免字段内容拼接冲突
      ISNULL(CAST(Col2 AS VARCHAR(MAX)), ''), '|',
      -- 依次添加所有列，确保顺序和源文件一致
      ISNULL(CAST(ColN AS VARCHAR(MAX)), '')
    )
  ) AS RowHash
FROM YourTargetTable

把查询结果导出为文本文件，比如sql_hashes.txt。

源文件端生成哈希（以CSV为例，用PowerShell）： #

# 导入源CSV，跳过表头（如果源文件有表头的话）
Import-Csv -Path "C:\YourSourceFile.csv" | ForEach-Object {
  # 把每行的所有字段拼接，NULL/空值替换为空字符串，用|分隔
  $rowContent = ($_.PSObject.Properties.Value | ForEach-Object { $_ ?? '' }) -join '|'
  # 生成SHA256哈希并转为十六进制字符串
  $hashBytes = [System.Security.Cryptography.SHA256]::Create().ComputeHash([System.Text.Encoding]::UTF8.GetBytes($rowContent))
  $hashString = ($hashBytes | ForEach-Object { $_.ToString("x2") }) -join ''
  $hashString
} | Out-File "C:\source_hashes.txt"

之后对比两个哈希文件，找出只存在于SQL端的哈希值，对应的行就是多出来的记录；如果有哈希值只在源文件端，说明有些行没导入成功。

2. 用聚合统计做快速整体校验 #

如果不需要找具体差异行，先做整体校验的话，可以对每个列计算聚合值，对比源文件和目标表的结果：

• 数值列：计算SUM、MIN、MAX
• 字符串列：计算COUNT(DISTINCT)、MAX(LEN(列名))

SQL Server端统计示例： #

SELECT
  SUM(CAST(NumericCol1 AS BIGINT)) AS Sum_Col1,
  MIN(NumericCol1) AS Min_Col1,
  MAX(NumericCol1) AS Max_Col1,
  COUNT(DISTINCT StringCol1) AS DistinctCount_Col1,
  MAX(LEN(StringCol1)) AS MaxLength_Col1
  -- 对所有列执行对应的统计操作
FROM YourTargetTable

源文件可以用Excel（比如用SUM、MIN、MAX、UNIQUE函数）或者PowerShell计算同样的统计值，如果所有统计结果一致，说明数据整体是匹配的，行数多大概率是重复导入；如果统计不一致，说明存在数据差异。

3. 排查目标表中的重复行 #

因为目标表行数比源文件多，最常见的原因是重复导入了部分或全部记录，咱们可以用SQL找出重复的行：

SELECT 
  Col1, Col2, ..., ColN, -- 列出所有列
  COUNT(*) AS DuplicateCount
FROM YourTargetTable
GROUP BY Col1, Col2, ..., ColN
HAVING COUNT(*) > 1

如果查询到重复行，对比重复的数量和目标表多出来的行数是否一致，就能确认是不是重复导入导致的问题。

4. 检查源文件的格式问题 #

有时候源文件可能有隐藏的空行、重复表头，或者导入时没处理好换行符/引号导致行拆分/合并，这时候可以用文本编辑器（比如Notepad++）打开源文件，查看实际的有效行数（排除表头），和目标表的行数对比，确认多出来的行数来源。

内容的提问来源于stack exchange，提问作者h87m