Oozie中Sqoop Job陷入无限运行状态问题求助

这种Oozie调度Sqoop任务无限挂起的情况我碰到过不少，咱们一步步来定位问题：

• 先获取完整的Action日志
  你目前只提供了Oozie Job启动的开头日志，这远远不够。可以通过以下命令获取该Job的完整日志：

  oozie job -oozie http://localhost:11000/oozie -log 0000001-180412153027255-oozie-oozi-W
  

  重点查看Sqoop Action对应的日志段，通常会包含Sqoop实际执行的命令、连接数据库时的报错或者资源不足的提示。另外也可以通过Oozie Web UI（默认端口11000）进入该Job的详情页，查看每个Action的具体日志。

• 先验证Sqoop命令本身的可行性
  把workflow.xml里配置的Sqoop命令单独拿出来，在集群节点的命令行手动执行，看是否能成功完成。这一步可以排除Sqoop本身的问题：

  • 检查MS SQL Server的JDBC驱动是否在Sqoop的lib目录，或者通过--driver和--libjars参数正确指定了驱动路径
  • 验证数据库连接参数：JDBC URL、用户名、密码是否正确，集群节点是否能ping通MS SQL服务器，端口（默认1433）是否开放
  • 检查Sqoop抽取的参数：表名是否正确，是否指定了合适的--split-by字段（如果抽取大表的话），HDFS输出路径是否存在（若未指定--delete-target-dir或--append，路径存在会导致Sqoop卡住）

• 检查Oozie的Sqoop Action配置
  核对job.properties和workflow.xml里的配置：

  • 确认workflow中的<sqoop>节点是否正确配置了command，有没有语法错误（比如引号未闭合、参数遗漏）
  • 检查Oozie的全局参数：比如oozie.libpath是否包含了Sqoop依赖的JAR包，尤其是MS SQL的JDBC驱动
  • 验证任务的运行权限：Oozie执行任务的用户（这里是root）是否有HDFS输出路径的读写权限，是否能访问MS SQL数据库

• 检查YARN资源状态
  任务无限运行可能是在等待YARN资源。打开YARN的ResourceManager UI（默认端口8088），找到对应的Application，查看：

  • 是否有容器（Container）启动失败的记录
  • 集群剩余资源是否充足，是否因为内存/CPU不足导致任务无法调度
  • Application的日志中是否有资源申请被拒绝的信息

• 调整日志级别获取更多细节
  如果以上步骤还没找到问题，可以临时调整Oozie的日志级别到DEBUG，重新运行任务，这样能获取更详细的调度过程信息。修改Oozie配置文件中的log4j.logger.org.apache.oozie为DEBUG，重启Oozie服务后再执行Job。

内容的提问来源于stack exchange，提问作者Ramesh yadav