Yarn集群用Flink SQL Client创建Hudi Catalog遇参数不支持问题

核心问题：版本不匹配 #

你使用的是Hudi 0.11.1，但参考的是新版Hudi官方文档——hive.conf.dir和mode（HMS模式）这两个Catalog配置选项，是在Hudi 0.12.0及后续版本才新增的特性。0.11.1版本的Hudi Flink Catalog仅支持catalog.path、default-database、property-version这几个基础选项，所以会抛出"不支持的选项"错误。

解决办法 #

1. 匹配对应版本的Hudi文档
   查看Hudi 0.11.1版本的SQL DDL文档，里面的Hudi Catalog配置不会包含HMS集成相关的参数，按照该版本文档编写创建Catalog的语句即可。

2. 若需集成Hive Metastore（HMS）

   • 方案一：升级Hudi版本
     升级到Hudi 0.12.0及以上（需选择与Flink 1.14.x兼容的bundle包，比如hudi-flink1.14-bundle_2.11-0.12.1.jar），升级后即可使用mode='hms'和hive.conf.dir参数配置HMS集成的Hudi Catalog。
   • 方案二：不升级，通过Hive Catalog访问Hudi表
     0.11.1版本无法通过Hudi Catalog直接集成HMS，可改为创建Flink的Hive Catalog，在Hive中创建Hudi表后，通过Flink SQL Client操作这些表。

环境版本验证 #

当前使用版本：

• Flink 1.14.6
• hudi-flink1.14-bundle_2.11-0.11.1.jar

启动Flink Cli命令：

flink/bin/sql-client.sh embedded -j /home/otarie/flink-1.14.6/opt/hudi-flink1.14-bundle_2.11-0.11.1.jar

内容的提问来源于stack exchange，提问作者Niko