pgcron无法并行运行多个定时任务问题求助

问题概述 #

使用pgcron调度两个存在时间重叠的定时任务：

• Job1：每15分钟执行一次，正常耗时不足1分钟
• Job2：每周六19点执行，耗时约4小时

日常运行正常，但Job2执行期间，19点启动的Job1直到Job2结束才完成，导致后续4小时内的所有Job1实例被跳过。

日志分析 #

cron.job_run_details表的关键日志（按启动时间降序）：

已验证配置 #

• cron.max_running_jobs = 5
• max_worker_processes = 20

复现场景 #

创建以下两个存储过程并设置为每5分钟执行一次，复现了相同阻塞现象：

create or replace procedure seconds_delay_60() 
Language plpgsql
AS $$
begin
insert into joblog(jobname,now)values ('started seconds_delay_60',now());
  perform pg_sleep(60);
insert into joblog(jobname,now)values ('ended seconds_delay_60',now());
end$$;

create or replace procedure seconds_delay_180() 
Language plpgsql
AS $$
begin
insert into joblog(jobname,now)values ('started seconds_delay_180',now());
  Perform pg_sleep(180);
insert into joblog(jobname,now)values ('ended seconds_delay_180',now());
end$$;

可能的原因与排查方向 #

1. 任务间锁冲突/资源竞争 #

这是最可能的原因：Job1和Job2访问了相同的数据库对象（表、索引、序列等），Job2持有长时间的排他锁，导致Job1被阻塞直到锁释放。

• 排查操作：在Job2执行期间，实时查询锁状态：

  SELECT locktype, relation::regclass, mode, granted, pid, query
  FROM pg_locks
  WHERE pid IN (SELECT pid FROM cron.job_run_details WHERE jobname IN ('Job1', 'Job2') AND start_time >= '2023-02-18 19:00:00+00' AND end_time IS NOT NULL);
  

  同时查看进程状态：

  SELECT pid, state, query, wait_event_type, wait_event
  FROM pg_stat_activity
  WHERE pid IN (SELECT pid FROM cron.job_run_details WHERE jobname IN ('Job1', 'Job2') AND start_time >= '2023-02-18 19:00:00+00');
  

2. pgcron版本bug #

部分旧版本的pgcron可能存在并行执行逻辑的问题，导致不同任务的执行上下文互相干扰。

• 排查操作：检查pgcron版本（SELECT cron.version();），对比官方发布日志，确认是否有相关的并行执行bug修复记录。

3. 事务上下文问题 #

如果Job2运行在一个长时间未提交的事务中，会持续持有锁资源，阻塞其他任务的访问。

• 排查操作：检查Job2的执行逻辑，确认是否存在大事务、未及时提交/回滚的情况，或者是否使用了SET TRANSACTION语句修改了事务隔离级别（比如提升到可串行化，增加锁竞争概率）。

4. PostgreSQL全局资源限制 #

虽然已验证max_worker_processes，但其他资源限制也可能导致阻塞：

• 检查max_connections是否充足，避免连接池耗尽导致任务等待；
• 检查work_mem、shared_buffers等内存配置，是否因为内存不足导致任务执行超时（但此场景下平时正常，可能性较低）。

5. 任务逻辑隐含依赖 #

Job1的执行逻辑可能隐含依赖Job2的结果，比如等待Job2生成的特定数据、外部资源状态等，导致Job1进入等待状态。

• 排查操作：梳理Job1和Job2的业务逻辑，确认是否存在直接或间接的依赖关系。

总结排查步骤 #

1. 优先检查锁冲突：在Job2执行期间实时查询pg_locks和pg_stat_activity，定位阻塞源；
2. 核查Job2的事务逻辑，确认是否存在长时间持锁的情况；
3. 验证pgcron版本，排除已知bug；
4. 测试错开Job1和Job2的执行时间，确认是否是资源竞争导致的问题。

内容的提问来源于stack exchange，提问作者PraveenDS