求助：将100GB无根XML文件导入SQL Server 2022数据库

一、先修复XML结构（添加根节点） #

你的XML文件缺少根节点，不符合标准XML格式，SQL Server无法直接解析。由于文件体积过大，不能用常规编辑器修改，可通过命令行工具无内存压力地添加根节点：

• 步骤：
  1. 创建start.xml文件，内容仅为 <VehicleRegistrations>
  2. 创建end.xml文件，内容仅为 </VehicleRegistrations>
  3. 执行命令合并三个文件：

     copy /b start.xml + 你的超大XML文件名.xml + end.xml 修复后文件名.xml
     

二、选择超大文件适配的导入方式 #

100GB文件无法用SSMS图形化工具导入（会触发内存溢出），推荐以下两种高效方案：

方案1：T-SQL结合OPENROWSET(BULK)直接解析导入 #

先确保SQL Server服务账户拥有文件读取权限，再执行以下操作：

1. 创建目标表（根据你的XML节点结构调整字段，示例如下）：

   CREATE TABLE VehicleRegistrations (
       ID INT IDENTITY(1,1) PRIMARY KEY,
       VehicleXML XML,
       LicensePlate NVARCHAR(50),
       VIN NVARCHAR(17),
       RegistrationDate DATE
   )
   

2. 导入并解析XML数据：

   INSERT INTO VehicleRegistrations (VehicleXML, LicensePlate, VIN, RegistrationDate)
   SELECT
       x.Vehicle.query('.') AS VehicleXML,
       x.Vehicle.value('(LicensePlate/text())[1]', 'NVARCHAR(50)') AS LicensePlate,
       x.Vehicle.value('(VIN/text())[1]', 'NVARCHAR(17)') AS VIN,
       x.Vehicle.value('(RegistrationDate/text())[1]', 'DATE') AS RegistrationDate
   FROM (
       SELECT CAST(BulkColumn AS XML) AS FullXML
       FROM OPENROWSET(BULK 'D:\修复后文件名.xml', SINGLE_BLOB) AS x
   ) AS xmlData
   CROSS APPLY FullXML.nodes('/VehicleRegistrations/Vehicle') AS x(Vehicle)
   

   • 提示：需根据实际XML节点名称，修改nodes和value中的路径；若内存压力仍大，可拆分文件分批导入。

方案2：用bcp工具批量导入后再解析 #

如果先只想存储原始XML内容，后续再做解析，可使用bcp工具：

1. 创建仅存储XML的表：

   CREATE TABLE RawVehicleXML (
       ID INT IDENTITY(1,1) PRIMARY KEY,
       XMLContent XML
   )
   

2. 打开命令提示符执行导入命令：

   bcp 你的数据库名.dbo.RawVehicleXML in "D:\修复后文件名.xml" -S 你的SQL服务器实例名 -T -w -b 1000
   

   • -T表示使用Windows身份验证，若用SQL身份验证则替换为-U 用户名 -P 密码
   • -b 1000表示每批导入1000条，可根据服务器性能调整数值。

三、关键注意事项 #

• 权限：确保SQL Server服务账户对文件所在文件夹有读取权限，否则会触发权限错误。
• 性能优化：导入前禁用目标表的索引和约束，导入完成后再重建，大幅提升导入速度。
• 文件拆分：若修复后的文件仍过大，可通过PowerShell脚本按节点拆分多个小文件，再分批导入：

  $reader = [System.IO.File]::OpenText("D:\修复后文件名.xml")
  $writer = $null
  $count = 0
  $batchSize = 100000
  while (-not $reader.EndOfStream) {
      $line = $reader.ReadLine()
      if ($line -eq "<VehicleRegistrations>") { continue }
      if ($line -eq "</VehicleRegistrations>") { break }
      if ($count % $batchSize -eq 0) {
          if ($writer -ne $null) {
              $writer.WriteLine("</VehicleRegistrations>")
              $writer.Close()
          }
          $fileName = "D:\split-vehicle-$([math]::Floor($count/$batchSize)).xml"
          $writer = [System.IO.File]::CreateText($fileName)
          $writer.WriteLine("<VehicleRegistrations>")
      }
      $writer.WriteLine($line)
      $count++
  }
  if ($writer -ne $null) {
      $writer.WriteLine("</VehicleRegistrations>")
      $writer.Close()
  }
  $reader.Close()
  

内容的提问来源于stack exchange，提问作者Morten Krogh