使用Sqoop导入SQL Server时，从文件传入查询语句失败求助

我来帮你一步步拆解这个导入失败的问题，从最常见的几个核心点入手：

1. 先确认最终SQL语句的合法性 #

这是最容易踩坑的环节，你可以先在脚本里加一行echo，把拼接后的完整SQL打印出来，然后手动在SQL Server客户端执行一遍，看看是否能正常返回结果：

echo "Final Executed SQL: ${query}${where_clause}"

如果手动执行报错，大概率是SQL本身的问题，常见情况有：

• SQL脚本结尾带分号：如果${SQL_SCRIPT}里的语句最后有;（比如select * from prioritypass;），Sqoop会把整个拼接后的内容传给SQL Server，分号会直接导致语法错误，必须去掉。
• 拼接时缺少空格：如果query的结尾没有空格，拼接后会变成prioritypasswhere dateadded...这种语法错误，建议在拼接时主动加个空格："${query} ${where_clause}"。
• 重复的WHERE子句：如果${SQL_SCRIPT}里已经包含了WHERE条件，拼接后就会出现两个WHERE，比如select * from t where id>1 where dateadded...，这会直接触发SQL语法错误。

2. 修正脚本的SQL拼接逻辑 #

针对上面的常见问题，你可以修改脚本，自动处理分号和空格：

# 读取SQL脚本，去掉结尾的分号（如果存在），并确保语句末尾有空格
query=$(sed 's/;$//' ${SQL_SCRIPT} | sed -e '$a\\ ')
where_clause="where dateadded >= '2016-05-01' and dateadded < '2016-06-01' and \$CONDITIONS"

# 打印最终SQL，方便排查
echo "Executing SQL: ${query}${where_clause}"

sqoop import -D mapreduce.job.queuename=s_sourcedata \
--connect 'jdbc:sqlserver://your_server:1433;databaseName=your_database' \
--compression-codec org.apache.hadoop.io.compress.SnappyCodec \
--username name \
--password pas \
--query "${query}${where_clause}" \
--as-parquetfile \
--split-by dateadded \
--delete-target-dir \
--target-dir prioritypass_history \
-m 1

3. 检查JDBC连接配置 #

你的原连接字符串jdbc:sqlserver://connection明显不完整，SQL Server的JDBC URL需要包含服务器地址、端口和数据库名，比如：

jdbc:sqlserver://192.168.1.100:1433;databaseName=your_target_db

如果缺少这些信息，Sqoop根本无法建立数据库连接，自然无法执行导入。

4. 开启详细日志定位深层问题 #

如果上面的步骤都没解决问题，你可以在Sqoop命令里加上-v参数开启详细日志：

sqoop import -v -D mapreduce.job.queuename=s_sourcedata ...

日志会明确告诉你具体错误原因：

• 如果是权限问题，检查用户名是否有目标表的读取权限；
• 如果是队列问题，确认s_sourcedata队列存在且你的用户有访问权限；
• 如果是日期格式问题，可以用SQL Server的CONVERT函数强制指定格式：

  where CONVERT(datetime, dateadded, 23) >= '2016-05-01' and CONVERT(datetime, dateadded, 23) < '2016-06-01' and $CONDITIONS
  

5. 关于$CONDITIONS的注意点 #

虽然你用了-m 1（单Map任务），Sqoop仍然要求--query参数里必须包含$CONDITIONS，你的转义写法\$CONDITIONS是正确的，避免了shell把$CONDITIONS当成变量解析，这部分无需调整。

按照上面的步骤逐一排查，应该能快速定位并解决问题。

内容的提问来源于stack exchange，提问作者gjin