使用Crawlee PlaywrightCrawler拦截特定资源失败的问题

针对你在crawlee@3.0.3（未发布版本）中遇到的问题，核心是PlaywrightCrawler的页面生命周期由框架管理，需要通过指定钩子注入拦截逻辑，而不是直接复用单独launchPlaywright的配置方式。以下是可行的解决方案：

正确实现方式：通过preNavigationHooks注入blockRequests #

PlaywrightCrawler提供了preNavigationHooks钩子，允许你在页面导航前执行自定义逻辑，这里可以调用playwrightUtils.blockRequests：

import { PlaywrightCrawler, playwrightUtils } from 'crawlee';

const crawler = new PlaywrightCrawler({
    async requestHandler({ page, request }) {
        // 你的爬取逻辑
        const content = await page.content();
        console.log(`爬取页面: ${request.url}`);
    },
    // 在导航前设置请求拦截
    preNavigationHooks: [
        async ({ page }) => {
            // 拦截图片资源，可根据需求修改过滤规则
            await playwrightUtils.blockRequests(page, {
                types: ['image'],
            });
        },
    ],
});

// 启动爬虫
await crawler.run(['https://example.com']);

为什么之前的方法失效？ #

• 单独使用launchPlaywright时，你完全控制页面的创建和初始化流程，拦截逻辑可以直接在页面创建后执行；但PlaywrightCrawler会自动创建和管理页面实例，直接调用blockRequests无法关联到框架创建的页面。
• 路由拦截方案如果失效，大概率是因为路由设置时机太晚（比如在requestHandler中设置，此时页面已经开始导航），而preNavigationHooks是在导航前执行的正确时机。

替代方案：直接使用Playwright原生路由拦截 #

如果blockRequests仍有问题，也可以用Playwright原生API在preNavigationHooks中设置路由，确保拦截生效：

preNavigationHooks: [
    async ({ page }) => {
        await page.route('**/*.{png,jpg,jpeg,gif}', (route) => route.abort());
        // 可添加更多路由规则
    },
],

内容的提问来源于stack exchange，提问作者matrs