Laravel 9如何管理已完成任务历史记录的大小？

针对你遇到的Redis中recent_jobs和completed_jobs占用过高内存的问题，以下是无需启用Horizon的轻量解决方案，按优先级排序：

一、特定任务跳过历史记录（最佳方案） #

如果仅某类任务不需要保留历史，可以给任务类添加标记属性，通过自定义Redis队列驱动跳过记录逻辑：

1. 创建自定义Redis队列驱动
   在app/Queue目录下新建RedisQueue.php：

   namespace App\Queue;
   
   use Illuminate\Queue\RedisQueue as BaseRedisQueue;
   
   class RedisQueue extends BaseRedisQueue
   {
       protected function markAsCompleted($job)
       {
           // 检查任务是否携带不记录历史的标记
           if (isset($job->job->shouldNotRecordHistory) && $job->job->shouldNotRecordHistory) {
               return;
           }
   
           parent::markAsCompleted($job);
       }
   }
   

2. 配置使用自定义驱动
   修改config/queue.php中的Redis驱动配置，添加class项：

   'redis' => [
       'driver' => 'redis',
       'connection' => 'default',
       'queue' => env('REDIS_QUEUE', 'default'),
       'retry_after' => 90,
       'block_for' => null,
       'class' => App\Queue\RedisQueue::class, // 指定自定义驱动类
   ],
   

3. 给目标任务添加标记
   在需要跳过历史记录的任务类中添加公共属性：

   class ProcessStatusMessage implements ShouldQueue
   {
       public $shouldNotRecordHistory = true; // 标记该任务不保留历史
   
       // 任务逻辑...
       public function handle()
       {
           // 你的状态消息处理代码
       }
   }
   

这样该任务完成后，不会被写入recent_jobs和completed_jobs，从根源上避免内存占用。

二、全局调整保留时长 & 自定义清理命令 #

如果需要全局缩短保留时长，或定期清理历史记录，可以通过以下方式实现：

1. 全局设置recent_jobs自动过期时长 #

Laravel默认给recent_jobs设置7天过期时间，可通过自定义驱动修改：
修改上面的RedisQueue类构造方法，从配置读取保留时长：

public function __construct($redis, $default, $connectionName = 'default')
{
    parent::__construct($redis, $default, $connectionName);
    // 从配置获取保留小时数，默认7天（168小时）
    $this->recentJobsExpiration = (int)config('queue.completed_retention_hours', 168) * 3600;
}

在config/queue.php末尾添加配置项：

'completed_retention_hours' => env('QUEUE_COMPLETED_RETENTION_HOURS', 168),

然后在.env中设置：

QUEUE_COMPLETED_RETENTION_HOURS=48

2. 自定义Artisan清理命令 #

针对completed_jobs（无自动过期），可以创建命令定期清理：
在app/Console/Commands下新建PruneCompletedJobs.php：

namespace App\Console\Commands;

use Illuminate\Console\Command;
use Illuminate\Support\Facades\Redis;

class PruneCompletedJobs extends Command
{
    protected $signature = 'queue:prune-completed {--hours=48 : 保留最近N小时的任务记录}';
    protected $description = '清理超过指定时长的已完成任务记录';

    public function handle()
    {
        $hours = (int)$this->option('hours');
        $cutoffTimestamp = now()->subHours($hours)->getTimestamp();
        $queuePrefix = config('queue.redis.prefix', 'queues:');
        // 列出需要清理的队列名，可根据实际情况添加
        $targetQueues = [config('queue.default'), 'status_queue'];

        foreach ($targetQueues as $queue) {
            $recentKey = "{$queuePrefix}{$queue}:recent_jobs";
            $completedKey = "{$queuePrefix}{$queue}:completed_jobs";

            // 删除时间戳小于 cutoff 的条目
            Redis::zremrangebyscore($recentKey, '-inf', $cutoffTimestamp);
            Redis::zremrangebyscore($completedKey, '-inf', $cutoffTimestamp);

            $this->info("队列 {$queue}：已清理超过{$hours}小时的任务记录");
        }

        return Command::SUCCESS;
    }
}

在app/Console/Kernel.php的$commands数组中注册该命令：

protected $commands = [
    Commands\PruneCompletedJobs::class,
];

之后即可通过命令清理：

php artisan queue:prune-completed --hours=48

还可以添加到调度任务自动执行，在Kernel.php的schedule方法中：

$schedule->command('queue:prune-completed --hours=48')->daily();

三、手动清理的安全性说明 #

你目前手动使用Redis命令ZREMRANGEBYSCORE清理记录的操作是安全的——Laravel原生框架不会依赖recent_jobs和completed_jobs做核心业务逻辑，这两个键仅用于任务历史展示（Horizon依赖它），删除后不会影响系统正常运行。

内容的提问来源于stack exchange，提问作者John Hardin