如何在AWS EMR集群后台运行周期性任务？

我来帮你一步步搞定在EMR主节点上配置周期性任务的需求，从安装cron、依赖到部署脚本全流程都给你捋清楚：

一、用EMR引导操作（Bootstrap Actions）预装依赖和cron #

EMR启动时的引导操作是自动化配置集群的最佳方式，不用手动登录节点操作。你需要先创建一个引导脚本（比如bootstrap_setup.sh），上传到你的S3桶里，然后在创建EMR集群时指定这个脚本。

引导脚本内容示例：

#!/bin/bash

# 安装cron（Amazon Linux 2用cronie，Amazon Linux 1用vixie-cron）
sudo yum install -y cronie

# 启动并设置crond服务开机自启
sudo systemctl start crond
sudo systemctl enable crond

# 安装Python3和pip（如果集群默认没有的话）
sudo yum install -y python3-pip

# 从S3下载requirements.txt并安装依赖（如果有单独的依赖文件）
aws s3 cp s3://your-bucket/path/requirements.txt /tmp/
sudo pip3 install -r /tmp/requirements.txt

# 或者直接指定依赖包安装
# sudo pip3 install pandas requests numpy

# 从S3下载你的任务脚本和Python程序到hadoop用户目录
aws s3 cp s3://your-bucket/path/script.sh /home/hadoop/
aws s3 cp s3://your-bucket/path/application.py /home/hadoop/

# 给脚本添加执行权限
chmod +x /home/hadoop/script.sh

二、配置Cron任务 #

接下来要让你的script.sh里的cron规则生效，分两种情况：

情况1：script.sh本身就是cron任务列表 #

如果你的script.sh内容是标准的crontab格式（每行一个任务），比如：

# 每5分钟执行一次application.py，输出日志到app.log
*/5 * * * * python3 /home/hadoop/application.py >> /home/hadoop/app.log 2>&1

那直接在引导脚本末尾添加一行，把这个任务列表加载到crontab：

# 加载cron任务
crontab /home/hadoop/script.sh

情况2：script.sh是用来配置cron的脚本 #

如果你的script.sh是用来生成cron任务的脚本（比如里面有添加任务的逻辑），那直接执行它即可，在引导脚本末尾加：

# 执行cron配置脚本
su - hadoop -c "/home/hadoop/script.sh"

比如script.sh里可以这样写：

#!/bin/bash
# 添加cron任务到hadoop用户的crontab
echo "*/5 * * * * python3 /home/hadoop/application.py >> /home/hadoop/app.log 2>&1" | crontab -

三、验证配置是否生效 #

集群启动后，你可以登录主节点做以下检查：

• 查看crontab任务是否存在：crontab -l（切换到hadoop用户：su - hadoop）
• 检查crond服务状态：sudo systemctl status crond
• 查看任务执行日志：tail -f /home/hadoop/app.log
• 如果任务没执行，检查系统日志：sudo tail -f /var/log/cron

关键注意事项 #

• IAM权限：确保EMR集群的服务角色（EMR_DefaultRole）有访问你的S3桶的权限（比如附加AmazonS3ReadOnlyAccess策略），否则引导脚本无法下载文件。
• Python版本：EMR集群默认可能同时有Python2和Python3，务必用python3来执行你的程序，避免版本兼容问题。
• 日志持久化：如果需要长期保存日志，可以在cron任务里定期把本地日志同步到S3，比如在任务末尾加：&& aws s3 cp /home/hadoop/app.log s3://your-bucket/logs/app_$(date +%Y%m%d_%H%M%S).log
• 权限问题：所有操作尽量用hadoop用户执行，避免root权限带来的问题，EMR集群默认的工作用户就是hadoop。

内容的提问来源于stack exchange，提问作者Kamrus