如何优化PHP程序避免超时？解决第三方API批量分页请求问题

1. PHP后台队列系统（优先推荐，适配你的技术栈） #

把长时分页请求拆成独立小任务，用队列异步处理，彻底解决超时问题，还能灵活控制请求速率。

实现思路 #

• 初始化任务：先发起第一页请求，拿到下一页URL后，将下一页的请求任务存入队列
• 队列Worker：启动常驻进程，从队列中取出任务，处理单页的请求、存储、数据处理及额外API调用，完成后检查是否有下一页，有的话继续存入队列，同时在任务间添加2秒延迟
• 优势：完全基于PHP生态，无需切换语言，Worker可稳定运行，即使中途中断也能从断点继续

示例（Laravel Queue 实现） #

1. 创建任务类：

<?php

namespace App\Jobs;

use Illuminate\Bus\Queueable;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Queue\SerializesModels;
use GuzzleHttp\Client;

class FetchThirdPartyPage implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

    protected $pageUrl;

    public function __construct(string $pageUrl)
    {
        $this->pageUrl = $pageUrl;
    }

    public function handle()
    {
        $client = new Client();
        // 发起分页请求
        $response = $client->get($this->pageUrl);
        
        // 存储并处理当前页数据
        $data = json_decode($response->getBody(), true);
        $this->processAndStoreData($data);
        
        // 检查下一页URL（根据实际API的响应头格式调整）
        $nextPageUrl = $response->getHeaderLine('Link');
        if ($nextPageUrl) {
            // 延迟2秒后分发下一页任务
            FetchThirdPartyPage::dispatch($nextPageUrl)->delay(now()->addSeconds(2));
        }
    }

    private function processAndStoreData(array $data)
    {
        // 自定义数据存储、处理逻辑，比如写入数据库、发起额外API请求
    }
}

2. 启动Worker：

php artisan queue:work

如果不用Laravel，也可以用beanstalkd+pheanstalk库实现轻量队列，核心逻辑一致：拆分任务、异步消费、延迟触发下一页。

2. 无服务器函数（Serverless） #

适合不想维护服务器Worker的场景，用云服务商的无服务器函数（如AWS Lambda、阿里云函数计算）处理分页请求，自动调度资源。

实现思路（Node.js 示例，兼容主流Serverless平台） #

• 函数逻辑：接收当前页URL，发起请求、处理数据，若有下一页，通过定时事件或函数调用触发下一次执行，间隔2秒
• 优势：无需管理服务器，按调用次数付费，自动扩容

const axios = require('axios');

exports.handler = async (event) => {
    const pageUrl = event.pageUrl;
    try {
        const response = await axios.get(pageUrl);
        // 处理并存储数据
        await processAndStoreData(response.data);
        
        // 检查下一页URL（根据实际API响应头调整）
        const nextPageUrl = response.headers.link;
        if (nextPageUrl) {
            // 延迟2秒触发下一次函数调用（以AWS为例，可通过CloudWatch Events实现定时触发）
            await scheduleNextInvocation(nextPageUrl);
        }
        return { statusCode: 200, body: 'Page processed' };
    } catch (error) {
        return { statusCode: 500, body: error.message };
    }
};

async function processAndStoreData(data) {
    // 自定义数据存储、额外API请求逻辑
}

async function scheduleNextInvocation(nextPageUrl) {
    // 实现定时触发下一次函数调用的逻辑，比如调用云服务商SDK创建定时任务
}

3. 临时过渡方案：CLI脚本 #

如果暂时不想引入队列或无服务器，用PHP CLI脚本运行即可——CLI模式下max_execution_time默认是0，不会触发超时。

<?php
require 'vendor/autoload.php';
use GuzzleHttp\Client;

$client = new Client();
$currentPageUrl = 'https://third-party-api.com/first-page';

while ($currentPageUrl) {
    // 发起请求
    $response = $client->get($currentPageUrl);
    $data = json_decode($response->getBody(), true);
    
    // 处理数据
    processData($data);
    
    // 获取下一页URL（根据实际API调整）
    $currentPageUrl = $response->getHeaderLine('Link');
    
    // 间隔2秒
    sleep(2);
}

function processData($data) {
    // 自定义数据处理、存储及额外API请求逻辑
}

运行方式：php fetch_data.php，若需要后台运行可使用：nohup php fetch_data.php &

内容的提问来源于stack exchange，提问作者threelyons0405