Sqoop导Oracle表至Hive报no such file or directory错误
问题排查(按优先级排序)
你遇到的「执行后先回显脚本内容、再抛出no such file or directory」的现象,和普通路径配置错误的报错特征有明显区别——如果是脚本本身找不到,bash会直接报错不会回显内容;如果是Sqoop运行时找不到文件,会直接在Sqoop日志里报错,不会在执行一开始就回显整个脚本。结合你已经核验过业务路径的前提,核心遗漏点和错误点如下:
- 脚本换行符格式不兼容
如果脚本前期在Windows系统下编辑,或是通过PuTTY文本粘贴模式上传,文件会携带Windows专属的CRLF换行标记。bash解析脚本时,会把shebang行#!/bin/bash末尾的\r转义符当成解释器路径的一部分,去寻找不存在的/bin/bash\r可执行文件;此时bash不会按正常流程调用解释器执行脚本,而是直接把脚本内的每一行内容当成当前shell的命令逐行执行,就会出现逐行回显脚本内容、最终报no such file or directory的现象,和你核验多少次业务路径无关。
验证与修复:- 进入脚本所在目录执行
cat -A my_script.sh,如果行尾显示^M$即可确认是格式问题 - 执行
dos2unix my_script.sh将脚本转换为Unix系统兼容的LF换行格式
- 进入脚本所在目录执行
- 脚本依赖的环境变量未预校验
脚本内直接引用了$WALLET_LOCATION、$TNS_ADMIN两个变量,但没有做变量存在性校验。如果运行脚本的当前shell没有提前定义这两个变量,Sqoop的-files参数会拼接出空路径的无效文件地址,后续也会报找不到wallet配置文件、TNS配置文件的错误。
补充操作:在脚本的#!/bin/bash行下方加入变量校验逻辑,避免空值导致的路径错误:: ${WALLET_LOCATION:?未检测到WALLET_LOCATION环境变量,请配置Oracle wallet存放目录} : ${TNS_ADMIN:?未检测到TNS_ADMIN环境变量,请配置Oracle TNS配置文件存放目录} - HDFS目标路径写法错误
你配置的--target-dir /hdfs://myserver/apps/hive/warehouse/new_schema.db开头多了一个冗余斜杠。HDFS全路径的正确格式是hdfs://<namenode地址>/实际存储路径,开头加斜杠会被解析为本地文件系统路径,而非HDFS路径,就算脚本格式正常,Sqoop运行时也会报目标路径不存在。 - 权限配置遗漏
脚本中配置了--create-hive-table、--hive-overwrite,如果执行Sqoop的账号没有对应Hive Schema的建表权限、也没有目标HDFS目录的读写权限,就算路径、格式都正确,作业也会在运行阶段报错。需要提前给执行账号授予new_schema库的操作权限,以及对应HDFS路径的读写权限。
内容的提问来源于stack exchange,提问作者wally
相关产品推荐
相关产品推荐

