SQL Server中BULK INSERT导入文件如何跳过空行及MAXERRORS疑问

一、关于MAXERRORS的认知纠正 #

• SQL Server的MAXERRORS参数存在隐性上限：即便你设置为100000，实际允许的最大错误数是总行数的10%（若总行数不足1000，上限会按比例调整）。比如你的目标文件如果只有270行左右，10%就是27个错误，这就是为什么设了超大值却只能忽略27个错误的原因。
• 另外，MAXERRORS统计的是所有类型的导入错误，包括数据类型不匹配、格式不符等，并非只针对空行，所以实际能跳过的空行数量可能更少。

二、跳过不符合长度空行的可行方案 #

1. 导入前预处理文件（最直接有效） #

用脚本提前清理不符合固定宽度的行，避免导入时触发错误：

• PowerShell示例（过滤固定长度行）：

  # 替换YOUR_FIXED_WIDTH为你的文件每行固定长度
  Get-Content "C:\data\source_file.txt" | Where-Object { $_.Length -eq YOUR_FIXED_WIDTH } | Set-Content "C:\data\cleaned_file.txt"
  

• 如果是空行（长度为0或全空格），可以简化过滤：

  Get-Content "C:\data\source_file.txt" | Where-Object { $_ -notmatch '^\s*$' } | Set-Content "C:\data\cleaned_file.txt"
  

• Python脚本（处理复杂场景，比如带换行符的行）：

  fixed_width = 150  # 替换为实际固定宽度
  with open("source.txt", "r", encoding="utf-8") as f_in, open("cleaned.txt", "w", encoding="utf-8") as f_out:
      for line in f_in:
          # 去掉换行符后检查长度
          raw_line = line.rstrip('\r\n')
          if len(raw_line) == fixed_width:
              f_out.write(line)
  

2. 用OPENROWSET(BULK...)加筛选导入 #

结合格式文件，先读取数据再过滤不符合条件的行，最后插入目标表：

INSERT INTO YourTargetTable
SELECT *
FROM OPENROWSET(
    BULK 'C:\data\source_file.txt',
    FORMATFILE = 'C:\data\format_file.fmt',
    ERRORFILE = 'C:\data\error_log.txt'
) AS BulkImportData
-- 方式1：检查所有列拼接后的长度是否符合固定值
WHERE LEN(BulkImportData.Col1 + BulkImportData.Col2 + BulkImportData.Col3) = YOUR_FIXED_WIDTH;
-- 方式2：如果空行所有列都是空，直接过滤
-- WHERE BulkImportData.Col1 IS NOT NULL;

3. 修改格式文件适配空行 #

如果空行是和正常行长度一致的全空格行，可以在格式文件中配置NULLIF，让SQL Server将全空格列识别为NULL，导入后再删除空行：
格式文件片段示例：

12.0
3
1       SQLCHAR       0       10      " "      1     Col1      SQL_Latin1_General_CP1_CI_AS
2       SQLCHAR       0       20      " "      2     Col2      SQL_Latin1_General_CP1_CI_AS
3       SQLCHAR       0       30      "\r\n"   3     Col3      SQL_Latin1_General_CP1_CI_AS

导入后执行清理：

DELETE FROM YourTargetTable 
WHERE Col1 IS NULL AND Col2 IS NULL AND Col3 IS NULL;

4. 改用SSIS工具导入 #

SSIS的平面文件源组件支持直接忽略空行（在平面文件连接管理器的「高级」选项卡中勾选「忽略空行」），还能将错误行重定向到单独的文件，不中断正常数据的导入流程，适合复杂的文件处理场景。

内容的提问来源于stack exchange，提问作者Jeffery McGuire