Titan 1.0.0版本下如何为Titan MR任务设置YARN作业队列

看起来你踩了个常见的坑——Titan的Management API并不负责Hadoop/YARN作业的配置，而且直接在Titan主配置文件里加队列参数也不会被MapReduce任务正确读取。我来帮你理清楚正确的配置方式：

为什么之前的方法无效？ #

• Gremlin Shell的mgmt.set()操作错误：Titan的Management接口是用来管理图的元数据（比如Schema、索引、图级属性）的，Hadoop/YARN的作业配置参数根本不在它的管辖范围内，所以你尝试的所有mgmt.set('xxx.job.queue.name', 'myqueue')都会报错，这是预期行为。
• Titan主配置文件不生效：titan-hbase-solr.properties是用来配置Titan图数据库本身的（比如存储后端、索引后端），MapReduce作业的YARN配置不会从这里读取，所以你加的那些mapred.job.queue.name参数等于白加。

正确的解决方案 #

方案1：全局配置（所有Hadoop作业生效）

如果你的集群允许全局设置默认队列，可以修改Hadoop的mapred-site.xml：

<property>
  <name>mapred.job.queue.name</name>
  <value>myqueue</value>
</property>

修改后重启YARN服务，之后所有提交的MapReduce任务（包括Titan的索引管理任务）都会默认使用myqueue。

方案2：仅针对Titan作业配置

不想修改全局配置的话，可以在Titan的Hadoop配置目录里单独设置：

1. 找到Titan安装目录下的conf/hadoop文件夹
2. 在里面的mapred-site.xml中添加方案1里的配置项
3. 这样只有Titan发起的MapReduce作业会使用指定队列，不影响集群其他应用

方案3：提交任务时临时指定（最灵活）

如果需要针对不同的索引任务使用不同队列，可以在Gremlin Shell里提交任务时通过with()方法传入参数：

// 打开图和管理接口
graph = TitanFactory.open("/usr/iop/4.2.5.0-0000/titan/conf/titan-hbase-solr.properties")
mgmt = graph.openManagement()

// 初始化MapReduce索引管理对象
mr = new MapReduceIndexManagement(graph)

// 执行索引任务时指定队列
mr.updateIndex(mgmt.getGraphIndex('your_index_name'), SchemaAction.REINDEX).
  with('mapred.job.queue.name', 'myqueue').
  execute()

// 记得提交管理事务
mgmt.commit()

这种方式可以每次提交任务时灵活指定队列，不需要修改任何配置文件。

验证方法 #

提交任务后，你可以通过YARN的Web UI（通常是http://yarn-resource-manager:8088）查看作业的队列信息，确认是否已经使用myqueue。

内容的提问来源于stack exchange，提问作者bpgergo