带括号参数的Hive脚本执行报错求助
Hive脚本变量含括号等特殊字符的解决办法
嘿,作为Hive参数使用的新手,遇到带括号的变量报错太正常啦!问题的核心在于:括号属于SQL语法里的特殊字符,Hive在解析脚本时会先替换变量再解析SQL——如果变量值里的括号没被正确包裹,就会被当成SQL语法的一部分,自然就触发报错了。
直接给你结论:必须给带括号(或空格、逗号、引号这类特殊字符)的变量值添加引号,不过要分两种场景处理:
场景1:脚本内定义hivevar变量
如果是在.hql脚本里直接定义带括号的变量,需要把变量值用单引号或双引号括起来,比如:
set hive.exec.compress.output=false; set hive.mapred.mode=nonstrict; -- 给带括号的变量值加单引号 set hivevar:MIN_DT='20170401(测试)'; set hivevar:MAX_DT='20170301(归档)'; DROP TABLE IF EXISTS your_table; CREATE TABLE your_table AS SELECT * FROM source_table WHERE dt BETWEEN ${MIN_DT} AND ${MAX_DT};
这样Hive替换变量后,SQL里的条件会变成dt BETWEEN '20170401(测试)' AND '20170301(归档)',完全符合语法要求。
场景2:命令行传参给Hive脚本
如果是通过命令行给脚本传递带括号的变量,需要注意两层引号:一层给shell(防止shell把括号当成特殊符号解析),一层给Hive(确保变量值被当作字符串)。比如:
# 用单引号包裹变量值,避免shell解析括号 hive -hivevar MIN_DT='20170401(测试)' -hivevar MAX_DT='20170301(归档)' -f tableCreate.hql
或者如果你的变量值里包含单引号,可以改用双引号(注意shell里双引号会解析变量,所以如果值里没有shell变量的话更安全):
hive -hivevar MIN_DT="20170401(测试)" -hivevar MAX_DT="20170301(归档)" -f tableCreate.hql
额外提醒
如果你的变量是日期这类纯数字格式(比如你原代码里的20170401),其实不需要引号,但一旦加入括号、空格等特殊字符,就必须用引号把整个值包裹起来,否则Hive会把括号当成SQL语法的一部分(比如误认为是函数调用),直接抛出语法错误。
内容的提问来源于stack exchange,提问作者user3476463
相关产品推荐
相关产品推荐

