在Oozie中执行sqoop job --exec失败，求技术排查建议

你遇到的问题很典型：本地能正常执行的Sqoop Job，放到Oozie里就报错退出（Exit Code 1）。结合你的配置和环境，下面是几个你可能遗漏的关键配置点，按优先级从高到低排查：

1. Sqoop Metastore 配置未同步到Oozie执行环境 #

你在本地创建的ingest_cpm_alarm Job是存储在Sqoop metastore中的，但Oozie的执行容器默认不会自动读取本地的sqoop-site.xml配置：

• 你提到把$SQOOP_HOME/lib的文件复制到了Oozie的libpath，但**sqoop-site.xml并没有被包含在内**。需要把你的sqoop-site.xml也复制到/share/lib/oozie目录下，确保Oozie能找到Sqoop metastore的位置。
• 另外，检查Oozie的执行用户linknet是否有访问Sqoop metastore的权限：如果用的是默认Derby metastore，要确保Derby的数据库文件权限对linknet开放；如果是远程 metastore（比如MySQL），要确认linknet有对应的数据库访问权限。

2. Oozie执行环境缺少必要的环境变量 #

本地运行Sqoop时依赖的环境变量（比如SQOOP_HOME、HADOOP_CLASSPATH）在Oozie的容器里可能没有配置：

• 可以直接在Workflow的Sqoop Action中添加环境变量声明，示例：

<sqoop xmlns="uri:oozie:sqoop-action:0.2">
  <!-- 保留你原有的job-tracker、name-node等配置 -->
  <env-var>SQOOP_HOME=/your/actual/sqoop/path</env-var>
  <env-var>HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/share/lib/oozie/postgresql-42.1.4.jar</env-var>
  <command>job --exec ingest_cpm_alarm</command>
</sqoop>

• 或者把这些变量配置到Oozie服务器的oozie-env.sh文件中，让所有Oozie任务自动继承。

3. 显式指定Sqoop Metastore连接串 #

如果Oozie还是找不到metastore，可以在Sqoop命令里直接指定metastore地址，避免依赖本地配置：

<command>job --meta-connect jdbc:derby://localhost:10000/sqoop --exec ingest_cpm_alarm</command>

（替换成你实际的metastore连接串，比如用MySQL的话就是jdbc:mysql://host:port/sqoop）

4. 目标目录的权限问题 #

你的Sqoop Job指定的target-dir是/tmp/trash/cpm_alarm，本地运行时用的是你的个人用户权限，但Oozie执行时用的是linknet用户：

• 检查linknet是否有这个目录的读写权限，或者换一个linknet有权限的目录测试。

5. 查看更详细的错误日志 #

Oozie的warn日志只给出了Exit Code 1，没有具体错误信息。你需要：

• 登录YARN的ResourceManager页面，找到对应的Oozie Launcher Application，查看Sqoop任务的标准输出/错误日志，里面会有具体的报错（比如找不到metastore、驱动加载失败、权限不足等）。

快速验证方案 #

如果怀疑是metastore的问题，可以暂时绕过已创建的Sqoop Job，直接在Oozie的Sqoop Action里写完整的import命令测试：

<command>import --connect jdbc:postgresql://xxx.xxx.xxx.xxx:5432/snapshot --username "extractor" --password your_password --incremental append --check-column snapshot_date --table cpm_snr_history --as-avrodatafile --target-dir /tmp/trash/cpm_alarm</command>

（注意：明文密码有安全风险，后续可以用Oozie的Credential Store来管理敏感信息）

内容的提问来源于stack exchange，提问作者Yusata