Scrapy爬虫运行状态检测：如何避免定时任务重复启动？

你提到的用telnet检测Scrapy爬虫运行状态的思路非常靠谱，毕竟Scrapy默认开启了telnet控制台（默认端口6023），能连接上就说明爬虫还在跑。下面是具体的实现步骤，以及一个备选的进程检测方案供你参考：

一、基于Telnet的Bash脚本实现 #

先写一个bash脚本（比如run_scrapy_spider.sh），里面包含检测逻辑和启动命令：

#!/bin/bash

# 检测localhost的6023端口是否能连通
telnet localhost 6023 > /dev/null 2>&1
if [ $? -ne 0 ]; then
    # 端口不通，说明爬虫没在运行，启动爬虫
    echo "$(date): 未检测到爬虫运行，启动新任务" >> /var/log/scrapy_spider.log
    cd /path/to/your/scrapy/project
    scrapy crawl your_spider_name >> /var/log/scrapy_spider.log 2>&1 &
else
    echo "$(date): 爬虫正在运行，跳过本次任务" >> /var/log/scrapy_spider.log
fi

脚本说明： #

• telnet localhost 6023 > /dev/null 2>&1：把telnet的输出和错误都重定向到空设备，避免冗余输出干扰
• if [ $? -ne 0 ]：判断上一条命令的退出码，非0表示telnet连接失败（爬虫没运行）
• 启动爬虫时加上&让它后台运行，同时把日志输出到指定文件，方便后续排查问题
• 记得替换/path/to/your/scrapy/project为你的Scrapy项目实际路径，your_spider_name为你的爬虫名称

给脚本加上执行权限：

chmod +x run_scrapy_spider.sh

二、配置Crontab定时任务 #

打开crontab编辑界面：

crontab -e

添加每小时执行一次的任务：

0 * * * * /path/to/run_scrapy_spider.sh

保存退出后，crontab就会每小时整点自动执行这个脚本了。

三、备选方案：通过进程检测判断运行状态 #

如果你的Scrapy项目关闭了telnet控制台，或者担心telnet检测有延迟，也可以直接检测爬虫进程：

修改脚本里的检测逻辑为：

#!/bin/bash

# 检测是否有目标爬虫的进程在运行
pgrep -f "scrapy crawl your_spider_name" > /dev/null 2>&1
if [ $? -ne 0 ]; then
    echo "$(date): 未检测到爬虫运行，启动新任务" >> /var/log/scrapy_spider.log
    cd /path/to/your/scrapy/project
    scrapy crawl your_spider_name >> /var/log/scrapy_spider.log 2>&1 &
else
    echo "$(date): 爬虫正在运行，跳过本次任务" >> /var/log/scrapy_spider.log
fi

注意点： #

• pgrep -f会匹配包含指定字符串的进程，确保your_spider_name是唯一的，避免误判其他Scrapy进程
• 这种方式不需要依赖telnet服务，适合对端口访问有限制的环境

内容的提问来源于stack exchange，提问作者Milano