如何在Oozie工作流中从HDFS文件获取变量并用于决策

我来帮你一步步搞定这个需求——在Oozie工作流里把Hive COUNT的结果转成可复用的变量，再用它在决策节点做判断，用HUE操作的话流程其实很清晰：

首先，你的Hive任务不能随便把COUNT结果写到HDFS，得输出成键值对格式（比如count_val=123），这样后续才能轻松提取成Oozie变量。修改你的HiveQL如下：

INSERT OVERWRITE DIRECTORY '/user/your-username/count_output'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '='
SELECT 'count_val' AS key, COUNT(*) AS value FROM your_target_table;

执行后，HDFS的/user/your-username/count_output目录下会生成一个（或多个）文件，内容就是count_val=XXX，XXX就是你要的计数值。

接下来在HUE里添加一个Shell动作节点，用来读取HDFS里的结果文件，然后把计数值设为工作流的全局变量。Shell脚本内容如下：

#!/bin/bash
# 读取HDFS中计数结果文件的内容（如果有多个文件就用*匹配）
COUNT_CONTENT=$(hdfs dfs -cat /user/your-username/count_output/000000_0)
# 通过Oozie内置变量把键值对写入输出属性文件，传递回工作流
echo "oozie.setWorkflowProperty $COUNT_CONTENT" > ${OOZIE_ACTION_OUTPUT_PROPERTIES}

小提示：如果Hive输出了多个文件（比如数据量较大时），把000000_0改成*即可合并读取所有内容。另外，要确保Oozie运行用户有读取这个HDFS路径的权限。

在HUE配置Shell动作时，直接把这段脚本粘贴到“Script”框里，或者上传脚本到HDFS后指定路径，记得要让Oozie能捕获输出（有些版本的HUE会自动处理，或者勾选“Capture output”选项）。

现在count_val已经是工作流的全局变量了，在决策节点里可以用EL表达式直接引用它。比如：

• 如果你想判断计数值大于0，就走处理分支：
  分支条件写 ${count_val > 0}
• 如果计数值为0就跳过处理：
  分支条件写 ${count_val <= 0}

更复杂的判断也支持，比如判断等于某个具体值：${count_val == 10}，不等于则是${count_val != 5}。

• 确保Hive输出的文件里只有一行键值对，避免出现多值导致变量设置失败
• 在HUE里配置工作流时，要保证Shell动作在Hive动作之后，决策节点在Shell动作之后，顺序不能错

内容的提问来源于stack exchange，提问作者rnmalone