如何使用PowerShell将非标准CSV格式的文本文件导入SQL Server数据库

嘿，我完全懂你遇到的麻烦——这种用不定数量空格分隔的文本文件，直接转CSV肯定会把所有内容挤到一列里，根本没法用常规的Import-CSV处理。别担心，我给你两个实用的解决方案，都是用PowerShell直接处理并导入SQL Server的：

方法一：用正则表达式分割不定空格的行 #

这个方法完美适配你的情况，它能自动识别一个或多个连续空格作为分隔符，不管空格数量多少都能正确拆分字段。而且我还帮你优化了SQL语句，避免了安全风险：

# 替换成你的文本文件路径
$txtFilePath = "C:\your-file.txt"
# 生成SQL Server兼容的日期格式
$CurDate = Get-Date -Format 'yyyy-MM-dd HH:mm:ss'

# 读取文件内容，过滤掉空行
$fileContent = Get-Content $txtFilePath | Where-Object { $_ -match '\S' }

# 提取表头（第一行），分割成列名
$headers = $fileContent[0] -split '\s+' | Where-Object { $_ }

# 遍历数据行（从第二行开始）
foreach ($line in $fileContent[1..($fileContent.Count - 1)]) {
    # 分割每行数据，过滤掉空字符串（连续空格会产生空项）
    $data = $line -split '\s+' | Where-Object { $_ }
    
    # 提取字段并转大写
    $csvNumber = $data[0].ToUpper()
    $csvName = $data[1].ToUpper()
    
    # 使用参数化查询（重点！避免SQL注入，比直接拼接字符串安全）
    $query = @"
INSERT INTO YourTable (Number, Name, Added_Date)
VALUES (@Number, @Name, @Date);
"@
    
    # 执行SQL命令，传入参数（记得替换成你的数据库连接参数）
    Invoke-Sqlcmd -ServerInstance "你的服务器名" -Database "你的数据库名" -Query $query -Parameter @{
        Number = $csvNumber
        Name = $csvName
        Date = $CurDate
    }
}

方法一的优势： #

• 适配任意数量的分隔空格，不用提前调整文件格式
• 参数化查询彻底避免了SQL注入风险（你原来的代码直接拼接字符串是有安全隐患的）
• 自动过滤空行，避免无效数据插入

方法二：用固定宽度模板处理（适合严格固定列宽的文件） #

如果你的文本文件是固定列宽的（比如Number固定占8位，之后是固定7个空格，Name从第16位开始），可以用ConvertFrom-String的模板功能，这个方法更可靠，还能处理名字里带空格的情况（比如Mary Ann）：

$txtFilePath = "C:\your-file.txt"
$CurDate = Get-Date -Format 'yyyy-MM-dd HH:mm:ss'

# 定义固定宽度的模板（用你的第一行数据作为模板，保持空格数量一致）
$template = @'
{Number:89273428}       {Name:John}
'@

# 读取文件，跳过表头行，转换为结构化对象
$records = Get-Content $txtFilePath | Select-Object -Skip 1 | ConvertFrom-String -TemplateContent $template

# 遍历插入数据库
foreach ($record in $records) {
    $csvNumber = $record.Number.ToUpper()
    # 去掉名字前后可能的冗余空格
    $csvName = $record.Name.ToUpper().Trim()
    
    $query = @"
INSERT INTO YourTable (Number, Name, Added_Date)
VALUES (@Number, @Name, @Date);
"@
    
    Invoke-Sqlcmd -ServerInstance "你的服务器名" -Database "你的数据库名" -Query $query -Parameter @{
        Number = $csvNumber
        Name = $csvName
        Date = $CurDate
    }
}

方法二的优势： #

• 能处理字段内包含空格的情况（比如名字带空格）
• 固定列宽的场景下准确率更高，不会因为字段内容意外拆分

几个重要的注意事项： #

1. 模块安装：确保你已经安装了SqlServer模块（PowerShell 5可以用Install-Module SqlServer安装；PowerShell 7+推荐用Microsoft.SqlServer.Management.PowerShell）
2. 数据库连接：如果你的数据库需要认证，记得在Invoke-Sqlcmd里加上-Username/-Password或者-IntegratedSecurity参数
3. 数据校验：可以在插入前加一些校验逻辑，比如检查$data的长度是否为2，避免无效数据插入
4. 批量插入优化：如果数据量很大，建议用SqlBulkCopy来提升效率，上面的方法适合中小数据量

备注：内容来源于stack exchange，提问作者aasenomad