Linux EC2上cron调度的Python脚本数据缺失，如何查询运行日志

1. 检查cron调度运行日志 #

cron的历史执行记录默认存在系统日志中，对应路径根据发行版不同有所区别：

• Debian/Ubuntu系列：日志存储在/var/log/syslog，执行以下命令过滤cron相关记录
  grep CRON /var/log/syslog
• RHEL/CentOS/Amazon Linux系列：日志存储在/var/log/cron，执行以下命令查看
  cat /var/log/cron
  可以额外过滤你的脚本名缩小排查范围，比如grep "test_script.py" /var/log/syslog。
  注意确认cron服务是否设置开机自启，EC2定时重启后如果cron没有自动拉起，所有定时任务都不会执行，可执行systemctl status cron（Debian系）或systemctl status crond（RHEL系）查看服务状态

2. 补全Python脚本运行输出日志（实现类似Spyder控制台的输出留存） #

默认cron调度的脚本输出不会持久化存储，你可以通过修改cron规则把脚本的标准输出、错误输出都存入本地日志文件：

1. 先创建日志存储目录并赋权（以ec2-user为例）：

   sudo mkdir -p /var/log/python_cron
   sudo chown ec2-user:ec2-user /var/log/python_cron
   

2. 修改crontab规则，在原有任务后追加输出配置，示例：
   原规则：0 2 * * * /usr/bin/python3 /opt/scripts/report.py
   修改后：0 2 * * * /usr/bin/python3 /opt/scripts/report.py >> /var/log/python_cron/report.log 2>&1
   配置后脚本的所有打印输出、异常Traceback都会写入对应的log文件，和Spyder控制台的输出内容完全一致。
   你也可以直接在Python脚本中引入logging模块，自定义日志的时间戳、错误级别、存储滚动规则，更方便长期排查。

3. 排查EC2与数据库定时启停的时序冲突 #

由于你提到EC2和数据库都会定时启停，大概率存在时序异常导致写入失败：

• 确认cron任务的执行时间，是否早于数据库实例的启动完成时间，此时脚本连接数据库失败会直接导致写入中断
• 建议在Python脚本开头添加数据库连通性检测逻辑，连不通时自动重试3-5次，每次间隔2分钟，仍失败则打印错误日志后退出
• 也可以直接调整cron任务的执行时间，比数据库的预计启动完成时间晚5分钟以上，规避时序问题

4. 验证数据库写入逻辑异常 #

如果cron日志显示脚本正常执行，且Python运行日志无报错，则需要排查数据库侧问题：

• 在脚本的数据库写入逻辑中添加异常捕获，专门打印SQL执行错误、权限不足、事务回滚等相关信息
• 查看数据库的错误日志、慢查询日志，确认对应时间点是否有来自EC2的写入请求，是否存在执行报错的记录

内容的提问来源于stack exchange，提问作者chicagobeast12