如何将Cron Job连接至Redshift主机与S3存储桶？已查博客未获解决方案

一、前置准备 #

• 先确认服务器上装了必备工具：Redshift的客户端psql、AWS命令行工具（AWS CLI）
• 搞定AWS凭证：要么用aws configure生成~/.aws/credentials配置文件，要么直接设置环境变量AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY；如果是EC2实例上运行，绑定IAM角色更省事
• 确保Redshift的安全组放行了当前服务器的IP，S3桶的IAM权限得允许你用的凭证做对应的操作（比如上传、下载文件）

二、编写连接Redshift的脚本（示例） #

创建一个redshift_job.sh脚本（路径自己选，比如/home/your-user/scripts/redshift_job.sh），内容要指定命令的绝对路径（Cron的环境变量很窄，避免找不到命令）：

#!/bin/bash
# 指定工具的绝对路径
PSQL_PATH="/usr/bin/psql"
AWS_CLI_PATH="/usr/bin/aws"

# Redshift连接信息
REDSHIFT_HOST="your-redshift-host.amazonaws.com"
REDSHIFT_PORT="5439"
REDSHIFT_DB="your-db-name"
REDSHIFT_USER="your-username"
REDSHIFT_PWD="your-password"

# 示例：执行SQL查询并导出结果，再上传到S3
$PSQL_PATH -h $REDSHIFT_HOST -p $REDSHIFT_PORT -d $REDSHIFT_DB -U $REDSHIFT_USER -c "COPY your_table TO STDOUT WITH CSV HEADER" > /tmp/redshift_export.csv

# 上传到S3
$AWS_CLI_PATH s3 cp /tmp/redshift_export.csv s3://your-bucket-name/data/redshift_export_$(date +%Y%m%d).csv

给脚本加执行权限：

chmod +x /home/your-user/scripts/redshift_job.sh

三、编写仅操作S3的脚本（可选） #

如果只需要定时操作S3，创建s3_job.sh：

#!/bin/bash
AWS_CLI_PATH="/usr/bin/aws"

# 示例：从S3下载文件到本地
$AWS_CLI_PATH s3 cp s3://your-bucket-name/source/daily_data.csv /tmp/daily_data.csv

# 示例：上传本地文件到S3
# $AWS_CLI_PATH s3 cp /tmp/local_report.csv s3://your-bucket-name/reports/local_report_$(date +%Y%m%d).csv

同样加执行权限：

chmod +x /home/your-user/scripts/s3_job.sh

四、配置Cron Job #

1. 打开Cron任务编辑界面：

crontab -e

2. 添加定时任务，注意要写脚本的绝对路径，同时指定日志输出方便排错：
   • 每天凌晨2点执行Redshift脚本：

     0 2 * * * /home/your-user/scripts/redshift_job.sh >> /var/log/redshift_cron.log 2>&1
     

   • 每小时执行一次S3脚本：

     0 * * * * /home/your-user/scripts/s3_job.sh >> /var/log/s3_cron.log 2>&1
     

   注：2>&1是把错误输出和标准输出都写入日志文件，方便排查问题。
3. 保存退出后，用crontab -l查看已配置的任务，确认生效。

五、常见问题排查 #

• 命令找不到：Cron的PATH环境变量范围小，脚本里必须用命令的绝对路径，或者在脚本开头手动扩展PATH：export PATH=/usr/bin:/usr/local/bin:$PATH
• Redshift连接失败：检查安全组规则、主机地址/端口是否正确、用户名密码是否有效，先手动执行脚本测试连接
• S3操作失败：用aws s3 ls测试凭证是否有效，检查IAM权限是否覆盖所需操作，确认桶名和路径无拼写错误
• 脚本无输出：直接查看日志文件（比如/var/log/redshift_cron.log），看具体错误信息；手动执行脚本，验证逻辑是否正常

内容的提问来源于stack exchange，提问作者hariharamishra reddy