Yarn集群模式下如何为Flink流作业提供外部hbase-site.xml？

我明白你现在的需求：之前把hbase-site.xml打包进胖Jar里能正常在Yarn集群运行Flink写HBase的作业，但现在想从主节点部署时外部指定配置文件路径，用了-yt选项没效果，下面给你讲正确的配置方法，顺便解释下为什么-yt没用。

先澄清：-yt选项的作用 #

-yt（全称-yapplicationType）是用来指定Yarn应用的类型标识的，和加载HBase配置文件完全无关，所以你用这个参数肯定不会生效，别再浪费时间在它上面啦。

正确的配置方式 #

下面几种方法都能实现外部指定hbase-site.xml，你可以根据自己的场景选：

1. 使用-yfiles上传配置文件到Yarn容器

这是Yarn模式下最常用的方式，它会把本地（或HDFS上）的hbase-site.xml分发到每个Yarn容器的工作目录，让Flink进程能加载到：

./bin/flink run -m yarn-cluster \
  -yfiles /path/to/your/local/hbase-site.xml \
  -c com.your.company.YourHBaseStreamingJob \
  your-fat-jar.jar

如果你的配置文件在HDFS上，直接写HDFS路径就行：

-yfiles hdfs:///user/flink/config/hbase-site.xml

注意：如果你的胖Jar里还打包了hbase-site.xml，建议先移除，否则Jar里的配置会优先被加载，导致外部指定的不生效。

2. 通过-yD设置JVM系统参数，指定HBase配置路径

直接给Flink的JobManager和TaskManager进程添加JVM参数，告诉HBase客户端加载指定的配置文件：

./bin/flink run -m yarn-cluster \
  -yD env.java.opts="-Dhbase.configuration=/path/to/hbase-site.xml" \
  -c com.your.company.YourHBaseStreamingJob \
  your-fat-jar.jar

这个方法的原理是让HBase的Configuration类直接读取你指定的文件，优先级比classpath里的配置更高。

3. 将HBase配置目录加入Flink的Classpath

如果你的主节点上已经有HBase的配置目录（比如/etc/hbase/conf），可以直接把这个目录加到Flink的classpath中，这样每个Yarn容器都会加载该目录下的所有配置文件：

./bin/flink run -m yarn-cluster \
  -yD classpath=/etc/hbase/conf \
  -c com.your.company.YourHBaseStreamingJob \
  your-fat-jar.jar

这种方式适合集群里已经统一配置了HBase环境的场景，不用单独传单个文件。

额外注意事项 #

• 确保你指定的本地路径在主节点上是存在的，且有读取权限；如果是HDFS路径，要保证Flink用户能访问该路径
• 测试的时候可以先在本地模式下验证配置是否生效，再部署到Yarn集群

内容的提问来源于stack exchange，提问作者jatinpreet