Laravel大型任务调度问题求助：Google Places API数据处理超时

我之前也遇到过类似的递归队列任务问题，结合Laravel Redis队列的最佳实践，给你梳理一套可行的解决方案：

你的场景核心是长时间运行的递归任务：从Google Places API拉取数据→存库→发现新地点→生成新任务，这个流程如果走HTTP请求必然超时，而Redis队列的关键是把每个独立的拉取任务拆成异步Job，让队列Worker逐个处理，同时要避免无限递归和队列阻塞。

首先得保证你的Laravel能正常连接Redis并使用队列：

• 检查.env配置：把QUEUE_CONNECTION改成redis，同时确认Redis的主机、端口、密码配置正确
• 启动Redis服务：本地开发可以用redis-server启动，生产环境确保Redis服务运行稳定
• 启动队列Worker：在终端执行php artisan queue:work redis --tries=3 --timeout=60，这个命令会持续监听Redis队列并执行任务（注意：终端关闭后Worker会停止，生产环境建议用Supervisor管理Worker进程）

把你的拉取逻辑封装成ShouldQueue的Job类，这样每个拉取任务都会异步入队，不会阻塞主线程：

<?php

namespace App\Jobs;

use Illuminate\Bus\Queueable;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Queue\SerializesModels;
use Illuminate\Support\Facades\Http;
use Illuminate\Support\Facades\Log;
use App\Models\Place;

class FetchNearbyPlaces implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

    protected $location;
    protected $radius;
    protected $maxDepth;
    protected $currentDepth;

    // 初始化参数：地点坐标、搜索半径、递归最大深度、当前深度
    public function __construct(string $location, int $radius = 5000, int $maxDepth = 3, int $currentDepth = 1)
    {
        $this->location = $location;
        $this->radius = $radius;
        $this->maxDepth = $maxDepth;
        $this->currentDepth = $currentDepth;
    }

    public function handle()
    {
        // 1. 调用Google Places API
        try {
            $response = Http::get('https://maps.googleapis.com/maps/api/place/nearbysearch/json', [
                'location' => $this->location,
                'radius' => $this->radius,
                'key' => env('GOOGLE_PLACES_API_KEY'),
                'type' => 'restaurant', // 根据你的需求调整类型
            ]);

            if (!$response->successful()) {
                throw new \Exception("API请求失败，状态码：{$response->status()}，响应内容：{$response->body()}");
            }

            $places = $response->json()['results'] ?? [];
            Log::info("从坐标{$this->location}拉取到" . count($places) . "个地点");
        } catch (\Exception $e) {
            Log::error("拉取地点失败：{$e->getMessage()}");
            $this->fail($e); // 标记任务失败，方便后续重试
            return;
        }

        // 2. 批量处理数据库存储
        $newPlaces = [];
        foreach ($places as $placeData) {
            // 先检查是否已存在该地点（用place_id做唯一标识）
            if (!Place::where('place_id', $placeData['place_id'])->exists()) {
                $newPlaces[] = [
                    'place_id' => $placeData['place_id'],
                    'name' => $placeData['name'],
                    'lat' => $placeData['geometry']['location']['lat'],
                    'lng' => $placeData['geometry']['location']['lng'],
                    'address' => $placeData['vicinity'] ?? '',
                    'created_at' => now(),
                    'updated_at' => now(),
                ];
            }
        }

        // 批量插入新地点，比循环create性能高很多
        if (!empty($newPlaces)) {
            Place::insert($newPlaces);
            Log::info("批量插入了" . count($newPlaces) . "个新地点");
        }

        // 3. 递归生成新任务（注意加终止条件）
        if ($this->currentDepth < $this->maxDepth) {
            foreach ($places as $placeData) {
                $newLocation = "{$placeData['geometry']['location']['lat']},{$placeData['geometry']['location']['lng']}";
                // 缩小搜索半径，避免重复覆盖相同区域
                $newRadius = (int)($this->radius * 0.6);
                
                // 延迟1秒入队，避免触发Google API的限流机制
                FetchNearbyPlaces::dispatch(
                    $newLocation,
                    $newRadius,
                    $this->maxDepth,
                    $this->currentDepth + 1
                )->delay(now()->addSeconds(1))->onQueue('places');
            }
        }
    }
}

不要用GET请求触发，而是创建一个Artisan命令来启动初始任务，这样完全避开HTTP超时的限制：

<?php

namespace App\Console\Commands;

use Illuminate\Console\Command;
use App\Jobs\FetchNearbyPlaces;

class StartPlaceFetching extends Command
{
    protected $signature = 'places:start {location} {radius?=5000} {maxDepth?=3}';
    protected $description = '启动Google Places API地点拉取任务';

    public function handle()
    {
        $location = $this->argument('location');
        $radius = $this->argument('radius');
        $maxDepth = $this->argument('maxDepth');

        // 把初始任务入队
        FetchNearbyPlaces::dispatch($location, $radius, $maxDepth)->onQueue('places');

        $this->info("初始拉取任务已成功入队！请确保队列Worker正在运行：php artisan queue:work redis --queue=places");
    }
}

然后在终端执行命令触发：

php artisan places:start "37.7749,-122.4194" 5000 3

（这里用旧金山的坐标作为示例，你可以替换成自己的初始坐标）

1. 限制递归深度：一定要给递归任务加终止条件（比如maxDepth），否则队列会被无限生成的任务塞满，导致Redis内存溢出
2. API限流处理：Google Places API有配额和请求频率限制，给新任务加delay延迟，避免触发限流
3. 批量数据库操作：用insert代替循环create，大幅提升数据库写入性能
4. 指定队列：用onQueue('places')把地点拉取任务放到单独的队列，方便单独管理Worker，不影响其他业务队列
5. 失败任务处理：用php artisan queue:failed查看失败任务，php artisan queue:retry [任务ID]重试，或者配置failed_jobs表记录失败原因
6. 生产环境Worker管理：用Supervisor或者Laravel Horizon来管理队列Worker，确保Worker进程意外退出后能自动重启

• 查看队列状态：php artisan queue:status
• 查看失败任务：php artisan queue:failed
• 实时查看日志：tail -f storage/logs/laravel.log，可以看到任务的执行情况和报错信息

内容的提问来源于stack exchange，提问作者Zach Handley