AWS Data Pipeline：ShellCommandPrecondition实现Aurora视图行数检查

你的脚本存在几个关键的语法和参数错误，导致预检查逻辑无法正常工作，我来帮你逐个修正并解释原因：

修正后的Shell脚本 #

#!/bin/bash
# 注意：密码明文写在命令行有安全风险，建议后续改用更安全的方式（见下文说明）
count=$(mysql -u USER -pPW -h MASTERPUBLIC -P 3306 -D DBNAME -s -N -e "SELECT count(*) from MyView")

# Bash中数值比较需要用-eq，且条件判断必须用[]包裹并保留空格
if [ "$count" -eq 0 ]; then
    # 视图为空，预检查通过，退出码0触发管道执行
    exit 0
else
    # 视图有数据，预检查失败，退出码1触发重试逻辑
    exit 1
fi

关键错误解析 #

1. MySQL端口参数误用：
   你用了小写的-p指定端口，但MySQL命令中，小写-p是密码参数（紧跟密码时为-pPASSWORD），端口参数必须是大写的-P。原来的-p 3306会被解析成密码为3306，直接导致数据库连接失败。

2. 条件判断语法错误：
   Bash中数值比较不能直接用=，需要用-eq（等于）这类数值比较运算符；同时条件判断必须用[ ]包裹，且括号内外必须保留空格。给count变量加双引号，还能避免变量为空时出现语法报错。

3. 命令执行写法优化：
   虽然反引号`...`可以执行命令，但$(...)的写法可读性更强，嵌套使用也更方便，是现在更推荐的写法。

安全优化建议（可选） #

直接在命令行明文写密码存在安全风险（比如会暴露在进程列表中），建议改用配置文件方式：

• 创建权限为600的MySQL配置文件（比如~/.my_precheck.cnf）：

  [client]
  user=USER
  password=PW
  host=MASTERPUBLIC
  port=3306
  database=DBNAME
  

  然后脚本简化为：

  count=$(mysql --defaults-extra-file=~/.my_precheck.cnf -s -N -e "SELECT count(*) from MyView")
  

Data Pipeline配置确认 #

你的管道定义完全符合需求：

• retryDelay: 15 Minutes 会在预检查失败后等待15分钟重试
• maximumRetries: 4 会重试4次，加上首次执行共5次检查
• 所有重试失败后，管道会终止并标记为失败，完全匹配你的业务逻辑

内容的提问来源于stack exchange，提问作者Jor-Dan