Shell脚本中Impala SQL引用Bash变量触发语法错误问题排查

核心原因 #

你的脚本中$DAY变量看似被正确替换为数值，但实际可能包含隐藏的空白字符（如换行符、前导/尾随空格），导致Impala解析SQL时出现语法错误。硬编码数值时没有这些隐藏字符，所以能正常运行。另外，不同系统的date命令格式参数可能存在差异，比如GNU date的%-d用于去掉日期的前导零，但部分系统（如macOS）的date不支持该参数，可能导致输出异常。

解决办法 #

1. 清理变量中的隐藏空白字符 #

通过管道命令去除变量中的所有空白字符，确保DAY是纯数字：

# 定义变量时添加清理步骤
YEAR=$(date +"%Y" | tr -d '[:space:]')
MONTH=$(date +"%-m" | tr -d '[:space:]')
DAY=$(date +"%-d" | tr -d '[:space:]')
# 或者用xargs更简洁
DAY=$(date +"%-d" | xargs)

2. 确认date命令的格式参数兼容性 #

如果是在非GNU系统（如macOS）上运行，%-d参数可能无效，改用%e（输出不带前导零的日期，可能带前导空格）再清理：

DAY=$(date +"%e" | xargs)

3. 明确变量边界，避免解析歧义 #

在SQL语句中用${DAY}代替$DAY，明确变量的起止位置，防止Shell解析时出现意外：

$IMPALA_CONNECTION -q "LOAD DATA INPATH '$HDFS_DIR/text_file.txt' INTO TABLE db.tbl_stg;
INSERT INTO db.tbl PARTITION(year, month, day) SELECT rest, of, sql, $YEAR, $MONTH, ${DAY} FROM db.tbl_stg;"

4. 调试SQL语句中的隐藏字符 #

将SQL语句赋值给变量后，用cat -A打印所有字符（包括不可见字符），排查是否有换行、制表符等问题：

SQL="LOAD DATA INPATH '$HDFS_DIR/text_file.txt' INTO TABLE db.tbl_stg;
INSERT INTO db.tbl PARTITION(year, month, day) SELECT rest, of, sql, $YEAR, $MONTH, $DAY FROM db.tbl_stg;"
# 打印所有字符，查看是否有^M（回车符）或$（换行符）异常
echo "$SQL" | cat -A
# 确认无误后再执行
$IMPALA_CONNECTION -q "$SQL"

内容的提问来源于stack exchange，提问作者TheNewGuy