如何在Oozie Spark Action中获取Spark变量并用于后续决策节点？

嘿，作为Spark和Oozie的新手，碰到这种跨Action的变量传递问题确实挺常见的，我来给你分享几个除了已知方案外的可行方法：

方法1：通过日志提取变量（轻量首选） #

Oozie支持通过<log-filter>从Spark作业的日志中提取指定格式的内容，直接转换成Oozie变量，不用额外存储，步骤如下：

1. 在Spark代码中，用标准日志框架（比如SLF4J）以固定格式输出你的counter值，比如：

   import org.slf4j.LoggerFactory
   val logger = LoggerFactory.getLogger(getClass)
   val counter = 8
   logger.info(s"OOZIE_COUNTER: $counter")
   

2. 在Oozie的Spark Action配置里添加日志过滤规则，匹配这个固定格式的日志，提取值并设置为变量：

   <spark xmlns="uri:oozie:spark-action:0.2">
       <!-- 你的Spark作业配置（master、mode、jar、args等） -->
       <log-filter>
           <log-filter-name>counterExtractor</log-filter-name>
           <log-filter-value>OOZIE_COUNTER: (\d+)</log-filter-value>
           <log-filter-var>counter</log-filter-var>
       </log-filter>
   </spark>
   

3. 后续的Decision节点就可以直接用${counter}引用这个变量了，比如：

   <decision name="take-decision">
       <switch>
           <case to="next-action">${counter} > 5</case>
           <default to="fallback-action"/>
       </switch>
   </decision>
   

优点：无需额外存储组件，实现简单；注意：要确保日志格式唯一，避免误匹配，且Spark作业的日志能被Oozie正常捕获。

方法2：用Java Action封装Spark作业并直接设置Oozie变量 #

如果需要更强的可控性，可以写一个Java程序，在里面提交Spark作业并获取counter值，然后通过Oozie的WorkflowContext直接将变量注入到Oozie上下文：

1. 编写Java程序，提交Spark作业（可以用SparkLauncher），获取counter结果；
2. 在Java程序中通过Oozie的WorkflowContext设置变量：

   import org.apache.oozie.action.hadoop.WorkflowContext;
   public class SparkCounterAction {
       public static void main(String[] args) {
           // 提交Spark作业并获取counter值
           int counter = 8;
           // 获取Oozie上下文
           WorkflowContext context = WorkflowContext.get();
           // 设置变量到Oozie上下文
           context.setVariable("counter", String.valueOf(counter));
       }
   }
   

3. 在Oozie workflow中使用Java Action替代Spark Action，执行这个程序；
4. 后续节点同样可以用${counter}引用变量。
   优点：可控性强，能处理复杂的结果逻辑；缺点：需要额外编写Java代码，增加了开发成本。

方法3：借助Oozie的Shell Action中转（结合HDFS） #

虽然你提到Spark Action不能用<capture-output>，但可以在Spark Action之后加一个Shell Action，读取Spark写入HDFS的变量文件，再通过<capture-output>将变量注入Oozie：

1. Spark端将counter写入HDFS的一个文本文件，比如hdfs:///tmp/spark_counter.txt，内容格式为counter=8；
2. 添加一个Shell Action，读取该文件并输出：

   <shell xmlns="uri:oozie:shell-action:0.3">
       <exec>sh</exec>
       <argument>-c</argument>
       <argument>hdfs dfs -cat /tmp/spark_counter.txt</argument>
       <capture-output/>
   </shell>
   

3. 后续节点直接用${counter}引用，因为<capture-output>会把输出的键值对自动转为Oozie变量。
   优点：兼容你已有的Spark写入HDFS的逻辑，改动小；注意：要确保HDFS文件路径唯一，避免并发作业冲突。

内容的提问来源于stack exchange，提问作者USB