Laravel 9.45.0中PHP定时任务抓取JS加载iframe内容方案咨询

推荐方案：使用Spatie Browsershot #

Spatie Browsershot是基于Puppeteer的Laravel适配工具，维护活跃，完全兼容Laravel 9.x版本，能处理JS渲染的页面内容，包括动态加载的iframe。

1. 安装依赖

首先在项目中安装Node.js的Puppeteer，再安装Composer包：

# 安装Puppeteer（确保服务器已安装Node.js）
npm install puppeteer

# 安装Browsershot包
composer require spatie/browsershot

2. 服务器系统依赖（Linux环境）

如果是Linux服务器，需要安装Puppeteer运行所需的系统库，以Ubuntu为例：

sudo apt-get install libx11-xcb1 libxcomposite1 libxcursor1 libxdamage1 libxi6 libxtst6 libnss3 libcups2 libxss1 libxrandr2 libasound2 libpangocairo-1.0-0 libatk1.0-0 libatk-bridge2.0-0 libgtk-3-0

3. 编写Cron任务命令

在Laravel项目中创建自定义Artisan命令，用于抓取iframe内容：

<?php

namespace App\Console\Commands;

use Illuminate\Console\Command;
use Spatie\Browsershot\Browsershot;
use Symfony\Component\DomCrawler\Crawler;

class FetchIframeContent extends Command
{
    protected $signature = 'iframe:fetch';
    protected $description = '抓取JS动态加载的iframe内容';

    public function handle()
    {
        // 替换为包含iframe的目标页面URL
        $targetPageUrl = 'https://your-domain.com/page-with-iframe';

        // 加载页面并等待JS执行完成，确保iframe加载完毕
        $pageHtml = Browsershot::url($targetPageUrl)
            ->waitUntilNetworkIdle() // 等待网络请求全部完成
            ->bodyHtml();

        // 使用Symfony DomCrawler解析页面，提取iframe
        $crawler = new Crawler($pageHtml);
        $iframes = $crawler->filter('iframe');

        foreach ($iframes as $iframe) {
            $iframeSrc = $iframe->getAttribute('src');
            if (empty($iframeSrc)) continue;

            // 抓取iframe自身的内容
            $iframeContent = Browsershot::url($iframeSrc)
                ->waitUntilNetworkIdle()
                ->bodyHtml();

            // 这里可以添加逻辑：将内容存入数据库、写入文件等
            // 示例：\App\Models\IframeData::create(['source_url' => $iframeSrc, 'content' => $iframeContent]);

            $this->info('已抓取iframe内容：'.$iframeSrc);
        }

        $this->info('iframe内容抓取任务完成');
    }
}

4. 注册命令

在app/Console/Kernel.php的$commands数组中注册自定义命令：

protected $commands = [
    \App\Console\Commands\FetchIframeContent::class,
];

5. 配置Cron任务

在服务器的Crontab中添加定时任务（根据需求调整执行频率）：

# 每天凌晨1点执行
0 1 * * * cd /path-to-your-laravel-project && php artisan iframe:fetch >> /dev/null 2>&1

备选方案：使用Symfony Panther #

如果服务器无法安装Node.js，可以尝试Symfony Panther，它基于ChromeDriver，无需Node.js环境：

composer require symfony/panther

编写任务的逻辑类似，通过Panther驱动浏览器加载页面，提取iframe内容，适配Laravel的命令行环境即可。

注意事项 #

• 若iframe为跨域资源，需确保目标网站未设置反爬机制或允许爬虫访问；
• 可根据实际情况调整waitUntil参数（如waitUntil('load')、waitForSelector('iframe')），优化等待逻辑；
• 确保服务器有足够权限运行无头浏览器，且资源充足。

内容的提问来源于stack exchange，提问作者henrikhannewijk