Sqoop从Oracle导入HDFS报SQL command not properly ended错误求助
问题原因分析
- SQL语法错误:你当前的
--query参数写法存在引号闭合错误,只包裹了前半段查询语句,后半段的where \$conditions被放到了引号外,导致提交给Oracle的SQL语句结构断裂,触发SQL command not properly ended报错。 - 元数据识别错误:Sqoop需要读取
--query指定的完整SQL结构来生成对应的序列化类,你将\$conditions放在引号外后,Sqoop无法正确识别查询列的元数据,因此抛出No column to generate for ClassWriter异常。
修复方案
你需要将\$CONDITIONS放到查询语句的引号内部,作为SQL的过滤条件拼接,以下是两种正确写法:
写法1:使用双引号(需要转义$符号避免shell提前解析)
--query "select a,b,c from db.table where date = to_date('9999-12-31','yyyy-MM-dd') and \$CONDITIONS"
写法2:使用单引号(无需转义$符号,注意to_date内的日期引号改为双引号避免冲突)
--query 'select a,b,c from db.table where date = to_date("9999-12-31","yyyy-MM-dd") and $CONDITIONS'
额外注意事项
- 如果导入并行度大于1(Sqoop默认并行度为4),必须额外指定
--split-by <字段名>参数,选择数值型/时间型的字段作为分片拆分依据,避免并行查询冲突。 - 如果不需要并行导入,可直接加
-m 1参数指定单线程运行,无需配置--split-by。
内容的提问来源于stack exchange,提问作者Saras
相关产品推荐
相关产品推荐

