You need to enable JavaScript to run this app. Sqoop导Oracle表至Hive报no such file or directory错误
优惠活动
大模型
产品
解决方案
定价
更多

Sqoop导Oracle表至Hive报no such file or directory错误

问题排查(按优先级排序)

你遇到的「执行后先回显脚本内容、再抛出no such file or directory」的现象,和普通路径配置错误的报错特征有明显区别——如果是脚本本身找不到,bash会直接报错不会回显内容;如果是Sqoop运行时找不到文件,会直接在Sqoop日志里报错,不会在执行一开始就回显整个脚本。结合你已经核验过业务路径的前提,核心遗漏点和错误点如下:

  • 脚本换行符格式不兼容
    如果脚本前期在Windows系统下编辑,或是通过PuTTY文本粘贴模式上传,文件会携带Windows专属的CRLF换行标记。bash解析脚本时,会把shebang行#!/bin/bash末尾的\r转义符当成解释器路径的一部分,去寻找不存在的/bin/bash\r可执行文件;此时bash不会按正常流程调用解释器执行脚本,而是直接把脚本内的每一行内容当成当前shell的命令逐行执行,就会出现逐行回显脚本内容、最终报no such file or directory的现象,和你核验多少次业务路径无关。
    验证与修复:
    1. 进入脚本所在目录执行cat -A my_script.sh,如果行尾显示^M$即可确认是格式问题
    2. 执行dos2unix my_script.sh将脚本转换为Unix系统兼容的LF换行格式
  • 脚本依赖的环境变量未预校验
    脚本内直接引用了$WALLET_LOCATION、$TNS_ADMIN两个变量,但没有做变量存在性校验。如果运行脚本的当前shell没有提前定义这两个变量,Sqoop的-files参数会拼接出空路径的无效文件地址,后续也会报找不到wallet配置文件、TNS配置文件的错误。
    补充操作:在脚本的#!/bin/bash行下方加入变量校验逻辑,避免空值导致的路径错误:
    : ${WALLET_LOCATION:?未检测到WALLET_LOCATION环境变量,请配置Oracle wallet存放目录}
    : ${TNS_ADMIN:?未检测到TNS_ADMIN环境变量,请配置Oracle TNS配置文件存放目录}
    
  • HDFS目标路径写法错误
    你配置的--target-dir /hdfs://myserver/apps/hive/warehouse/new_schema.db开头多了一个冗余斜杠。HDFS全路径的正确格式是hdfs://<namenode地址>/实际存储路径,开头加斜杠会被解析为本地文件系统路径,而非HDFS路径,就算脚本格式正常,Sqoop运行时也会报目标路径不存在。
  • 权限配置遗漏
    脚本中配置了--create-hive-table、--hive-overwrite,如果执行Sqoop的账号没有对应Hive Schema的建表权限、也没有目标HDFS目录的读写权限,就算路径、格式都正确,作业也会在运行阶段报错。需要提前给执行账号授予new_schema库的操作权限,以及对应HDFS路径的读写权限。

内容的提问来源于stack exchange,提问作者wally

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.09 07:36:00