Crawlee爬虫重复调用同一处理器问题排查求助

核心原因排查 #

1. 请求生命周期未闭环
   Crawlee依赖请求队列的状态跟踪避免重复执行。如果处理器存在未捕获异常，或未正确完成请求处理流程，队列可能误将已处理请求重新标记为待处理，导致重复调用。

2. uniqueKey未生效或生成逻辑错误
   手动设置的uniqueKey如果重复，或生成时遗漏了请求的核心标识（如动态参数），队列可能无法正确识别重复请求，导致同一请求被多次执行。

3. 路由匹配规则过于宽泛
   路由正则或匹配条件写得太松，可能导致同一请求被多个处理器匹配，或触发循环匹配，造成请求反复分发。

4. 自动重试机制触发
   Crawlee默认会重试失败请求，若处理器存在隐性错误（如超时、资源加载失败），会导致请求被重复执行。

具体解决步骤 #

1. 给处理器添加异常捕获，确保请求状态正确标记 #

无论处理成功或失败，都明确标记请求状态，避免队列误判：

// handler-a.ts 示例
export const handlerA = async ({ request, log, crawler }) => {
  try {
    // 业务处理逻辑
    await crawler.addData({ /* 待存储的数据 */ });
    // 显式标记请求已处理（异常场景下需确保执行）
    await crawler.requestQueue.markRequestAsHandled(request);
  } catch (err) {
    log.error(`处理请求 ${request.url} 出错`, err);
    // 无需重试则直接标记为失败
    await crawler.requestQueue.markRequestAsFailed(request);
  }
};

2. 保证uniqueKey全局唯一 #

基于请求的核心标识（URL+参数）生成稳定哈希，避免重复：

// 生成uniqueKey的工具函数
import { createHash } from 'crypto';

const generateUniqueKey = (url: string, params?: Record<string, any>) => {
  const rawStr = `${url}-${JSON.stringify(params || {})}`;
  return createHash('md5').update(rawStr).digest('hex');
};

// 添加请求时使用
await crawler.addRequests([
  {
    url: 'https://example.com/page1',
    uniqueKey: generateUniqueKey('https://example.com/page1'),
    handler: 'handlerA'
  }
]);

3. 收紧路由匹配规则 #

使用精准的匹配条件，确保每个请求仅匹配一个处理器：

// router.ts 示例
import { createRouter } from 'crawlee';
import { handlerA } from './handler-a';
import { handlerB } from './handler-b';

export const router = createRouter();

// 精准匹配固定路径
router.addHandler('handlerA', /^https:\/\/example\.com\/page1$/, handlerA);
// 匹配带参数的路径时限定参数格式
router.addHandler('handlerB', /^https:\/\/example\.com\/page2\?id=\d+$/, handlerB);

4. 禁用不必要的请求重试 #

如果业务不需要失败重试，直接在爬虫配置中关闭：

// main.ts 示例
import { CheerioCrawler } from 'crawlee';

const crawler = new CheerioCrawler({
  maxConcurrency: 1,
  maxRequestRetries: 0, // 彻底禁用重试机制
  requestHandler: router,
});

5. 换用持久化请求队列 #

默认内存队列可能存在状态不一致问题，尝试使用文件系统队列：

// main.ts 示例
import { CheerioCrawler, FileSystemRequestQueue } from 'crawlee';

// 初始化文件队列，定期持久化状态
const queue = await FileSystemRequestQueue.open({
  persistStateIntervalMillis: 1000,
});

const crawler = new CheerioCrawler({
  requestQueue: queue,
  maxConcurrency: 1,
  requestHandler: router,
});

6. 升级Crawlee版本 #

你使用的3.5.8版本可能存在已知的队列重复执行bug，升级到最新稳定版：

npm install crawlee@latest

验证方法 #

在处理器中添加日志，打印请求的id和uniqueKey，确认是否为同一请求被重复调用：

export const handlerA = async ({ request, log }) => {
  log.info(`处理请求：ID=${request.id}, UniqueKey=${request.uniqueKey}, URL=${request.url}`);
  // 其他业务逻辑
};

通过日志可明确是同一请求被重复分发，还是不同请求导致的数据重复。

内容的提问来源于stack exchange，提问作者Danziger