如何使用PowerShell异步并行执行MySQL批量导入操作？

嘿，我来帮你把这个SQL脚本处理改成并行执行，充分利用你的Ryzen 5 1600的12线程！原来的Foreach-Object是单线程跑的，难怪只用到一个核心，下面给你几种不同的实现方案，看你用的PowerShell版本来选：

方案1：PowerShell 7+ 用ForEach-Object -Parallel（最简便） #

如果已经升级到PowerShell 7或更高版本，这个方法最直接，语法和原来的单线程循环很像，只需加个-Parallel参数和限制并行数的-ThrottleLimit：

Get-ChildItem -Filter *.sql | ForEach-Object -Parallel {
    # 提取不带.sql后缀的文件名作为数据库名，避免数据库名包含后缀
    $databaseName = $_.BaseName
    # 执行mysql命令，用$_.FullName确保脚本路径正确
    mysql -u root -e "DROP DATABASE IF EXISTS $databaseName; CREATE DATABASE $databaseName; USE $databaseName; SOURCE $($_.FullName);"
} -ThrottleLimit 12  # 并行数设为你的CPU线程数，刚好匹配Ryzen 5 1600的12线程

这里我修正了一个小问题：原来的代码用$_.Name会包含.sql后缀，数据库名最好不要带这个，所以用$_.BaseName来获取纯文件名。

方案2：PowerShell 5.1 用Invoke-Command（本地并行） #

如果还在使用Windows默认的PowerShell 5.1，可以用Invoke-Command连接本地会话来实现并行，同样能控制并发数：

# 先获取所有SQL文件
$sqlFiles = Get-ChildItem -Filter *.sql

# 调用本地会话执行并行任务
Invoke-Command -ComputerName localhost -ScriptBlock {
    param($file)
    $databaseName = $file.BaseName
    mysql -u root -e "DROP DATABASE IF EXISTS $databaseName; CREATE DATABASE $databaseName; USE $databaseName; SOURCE $($file.FullName);"
} -ArgumentList $sqlFiles -ThrottleLimit 12

方案3：PowerShell 5.1 用RunspacePool（更轻量高效） #

如果要处理大量文件，RunspacePool比Job更轻量、开销更小，适合高并发场景：

# 创建Runspace池，最小1个，最大12个并行
$runspacePool = [RunspaceFactory]::CreateRunspacePool(1, 12)
$runspacePool.Open()

$jobs = @()

# 为每个SQL文件创建并行任务
Get-ChildItem -Filter *.sql | ForEach-Object {
    $file = $_
    # 创建PowerShell实例并添加脚本
    $psInstance = [PowerShell]::Create().AddScript({
        param($file)
        $databaseName = $file.BaseName
        mysql -u root -e "DROP DATABASE IF EXISTS $databaseName; CREATE DATABASE $databaseName; USE $databaseName; SOURCE $($file.FullName);"
    }).AddArgument($file)
    
    $psInstance.RunspacePool = $runspacePool
    # 开始异步执行并记录任务
    $jobs += @{ Instance = $psInstance; AsyncResult = $psInstance.BeginInvoke() }
}

# 等待所有任务完成并清理资源
foreach ($job in $jobs) {
    $job.Instance.EndInvoke($job.AsyncResult)
    $job.Instance.Dispose()
}

$runspacePool.Close()
$runspacePool.Dispose()

注意事项 #

• 确保mysql命令在每个并行会话的环境变量PATH里能找到，如果找不到，直接用mysql.exe的绝对路径（比如C:\Program Files\MySQL\MySQL Server 8.0\bin\mysql.exe）
• 确认每个SQL文件对应独立的数据库，避免多个并行任务操作同一个数据库导致冲突
• ThrottleLimit建议设为CPU线程数（你的12），太高反而会增加上下文切换开销，降低效率

内容的提问来源于stack exchange，提问作者Achshar