Sqoop从Oracle导入数据至Hive时遭遇‘illegal escape character’错误求助

问题根源 #

你遇到的编译错误，核心原因是--input-null-string和--input-null-non-string参数里的\\N在Shell环境下被解析后，传递给生成的Java代码时变成了\N——而Java并不认可\N作为合法转义字符（仅支持\n、\t这类标准转义），直接导致代码编译失败。你添加的转义相关参数也存在Shell转义处理不当的问题，所以没能解决问题。

修改后的Sqoop命令 #

sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true \
-query "select * from schema.oracle_table where \$CONDITIONS" \
--split-by "CUSTOMER_REF" \
-connect jdbc:oracle:thin:@IP:Port:SID \
--username username \
--password password \
--hcatalog-table database.hive_table \
--hcatalog-database database \
--input-null-string "\\\\N" \
--input-null-non-string "\\\\N" \
--verbose \
--escaped-by '\\' \
--enclosed-by '"'

关键修改点说明 #

• 空值参数的转义修正：把原来的"\\N"改成"\\\\N"。Shell会先解析一次转义，\\\\会被转换成\\，最终传递给Java代码的就是合法的"\\N"（单个反斜杠加N，其中\\在Java中表示一个真实的反斜杠）。
• 转义/包围参数的调整：
  • --escaped-by '\\'：用单引号包裹参数，避免Shell解析转义，确保Sqoop接收到的是单个反斜杠作为转义符。
  • --enclosed-by '"'：直接用双引号包裹，让Sqoop正确识别双引号作为字段包围符，写法更简洁直观。

额外验证建议 #

如果还是遇到问题，可以先单独执行代码生成步骤（添加--codegen参数），查看生成的QueryResult.java文件中空值判断的代码是否变成if (__cur_str.equals("\\N") || ...)——如果是，说明转义处理已经正确。另外也可以确认下Sqoop和Hive/HCatalog的版本兼容性，部分旧版本Sqoop在空值转义处理上存在已知缺陷。

内容的提问来源于stack exchange，提问作者Thilina