如何无需等待执行完成即可运行多个Laravel Artisan命令？

我完全理解你的需求——当处理大量数据时，阻塞式的子命令调用会严重拖慢处理速度，并行运行多个实例确实能大幅提升效率。下面给你两种可行的方案，分别适合不同的场景：

方案一：后台进程执行子命令（直接并行） #

这种方式通过让子命令在系统后台运行，避免父命令等待每个子进程完成。核心是利用Shell的&符号让进程后台执行，同时要解决数据传递和并发数控制的问题。

步骤1：修改父命令代码 #

我们需要把数据序列化后传递（避免命令行参数解析错误），同时限制并发数在3个：

public function handle()
{
    // 你的数据获取、分块逻辑...
    $arrayOfData = $this->getChunksFromDatabase();
    $maxConcurrent = 3;
    $chunkCount = 0;

    foreach ($arrayOfData as $chunk) {
        // 序列化并Base64编码数据，避免特殊字符导致命令行解析失败
        $serializedChunk = base64_encode(serialize($chunk));
        
        // 后台执行子命令，输出重定向到日志文件（方便调试）
        exec("php artisan process:data --chunk='$serializedChunk' > storage/logs/chunk_process.log 2>&1 &");
        
        $chunkCount++;
        
        // 控制并发数：每启动3个实例，就等待当前后台进程数降到阈值以下
        if ($chunkCount % $maxConcurrent === 0) {
            while ($this->getRunningProcessCount() >= $maxConcurrent) {
                sleep(1); // 每秒检查一次
            }
        }
    }

    // 等待最后一批后台进程完成
    while ($this->getRunningProcessCount() > 0) {
        sleep(1);
    }

    $this->info('All chunks processed successfully!');
}

// 辅助方法：获取当前运行的process:data进程数
private function getRunningProcessCount()
{
    $output = shell_exec("ps aux | grep 'process:data' | grep -v grep");
    return count(array_filter(explode("\n", $output)));
}

步骤2：修改子命令接收数据 #

子命令需要解码序列化的数据：

public function handle()
{
    $serializedChunk = $this->option('chunk');
    $chunk = unserialize(base64_decode($serializedChunk));
    
    // 你的数据处理逻辑（更新数据库等）
    foreach ($chunk as $item) {
        // 执行更新操作...
    }

    $this->info('Chunk processed');
}

优化点：大数据块用临时文件 #

如果你的chunk数据量很大，Base64编码后的参数可能会超出命令行长度限制，这时候可以改用临时文件传递数据：

• 父命令：把chunk写入临时文件，传递文件路径

$tempFile = tempnam(sys_get_temp_dir(), 'data_chunk_');
file_put_contents($tempFile, serialize($chunk));
exec("php artisan process:data --file='$tempFile' > storage/logs/chunk_process.log 2>&1 &");

• 子命令：读取临时文件并删除

$tempFile = $this->option('file');
$chunk = unserialize(file_get_contents($tempFile));
// 处理完成后删除临时文件
unlink($tempFile);

方案二：用Laravel队列（更稳定的原生方案） #

如果你的项目已经在用Laravel队列，这是更推荐的方案——队列系统原生支持任务并行、失败重试、监控等功能，不需要自己手动管理进程。

步骤1：创建处理任务 #

生成一个任务类来处理单个数据块：

php artisan make:job ProcessDataChunk

在任务类中编写处理逻辑：

namespace App\Jobs;

use Illuminate\Bus\Queueable;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Queue\SerializesModels;

class ProcessDataChunk implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

    public $chunk;

    public function __construct($chunk)
    {
        $this->chunk = $chunk;
    }

    public function handle()
    {
        // 你的数据处理逻辑（更新数据库等）
        foreach ($this->chunk as $item) {
            // 执行更新操作...
        }
    }
}

步骤2：父命令分发任务 #

在父命令中把每个数据块分发到队列：

public function handle()
{
    // 你的数据获取、分块逻辑...
    $arrayOfData = $this->getChunksFromDatabase();

    foreach ($arrayOfData as $chunk) {
        \App\Jobs\ProcessDataChunk::dispatch($chunk);
    }

    $this->info('All chunk jobs dispatched to queue!');
}

步骤3：启动多个队列Worker #

启动3个队列Worker来并行处理任务：

# 启动3个后台Worker（可以用supervisor管理进程，避免意外退出）
php artisan queue:work --timeout=300 &
php artisan queue:work --timeout=300 &
php artisan queue:work --timeout=300 &

注意事项 #

1. 数据库连接数：并行运行3个实例时，要确保数据库的max_connections配置足够（默认一般是151，足够3个进程使用，但如果有其他服务也要占用连接，需要调整）。
2. 日志监控：无论是后台进程还是队列，都要做好日志记录，方便排查处理过程中的错误。
3. 资源限制：不要盲目增加并发数，要根据服务器的CPU、内存资源合理设置，避免服务器过载。

内容的提问来源于stack exchange，提问作者Adarsh Sojitra