Jakarta EE中Kerberos认证连接HDFS遇callbackHandler不可为空错误

问题场景 #

在Jakarta EE应用中通过Kerberos认证连接HDFS，连接代码配置看似无误，但加载HDFS文件列表时触发如下错误：

14:41:17,006 ERROR [com.hdfs.HdfsFileBrowserBean] (default task-1) Failed to load file list for path: /: java.io.IOException: DestHost:destPort java.ecc.com:8020, LocalHost:localPort localhost.localdomain/127.0.0.1:0. Failed on local exception: java.io.IOException: Couldn't set up IO streams: java.lang.IllegalArgumentException: Parameter 'callbackHandler' may not be null

已验证keytab与principal信息无误，相关代码如下：

Configuration conf = new Configuration();
setClusterConfig(conf, peerCrawler.getClusterConfig(url, username, password, "hdfs-site"));
setClusterConfig(conf, peerCrawler.getClusterConfig(url, username, password, "core-site"));

String keytabPath = "/opt/wildfly-34.0.0.Final/keytabs/yarn.service.keytab"; 
String principal = "yarn/java.ecc.com@ECC.COM"; 
org.apache.hadoop.conf.Configuration hadoopConfig = new org.apache.hadoop.conf.Configuration();
hadoopConfig.set("hadoop.security.authentication", "kerberos");
UserGroupInformation.setConfiguration(hadoopConfig);
UserGroupInformation.loginUserFromKeytab(principal, keytabPath);

String currentUser = UserGroupInformation.getCurrentUser().getUserName();
logger.info("Login successful with principal: " + currentUser);

// Get FileSystem instance
this.fileSystem = FileSystem.get(new URI(hdfsUri), conf);

错误原因分析 #

核心问题是你创建了两个独立的Configuration对象：

• 一个是加载了集群hdfs-site和core-site配置的conf
• 另一个是单独配置了Kerberos参数的hadoopConfig

虽然你通过hadoopConfig完成了Kerberos登录，但获取FileSystem实例时使用的是未配置Kerberos参数的conf。Hadoop在建立安全连接时，会从当前使用的Configuration中读取认证配置，由于conf缺少Kerberos相关设置，内部初始化认证上下文时无法找到有效的CallbackHandler实现，最终抛出参数为空的异常。

CallbackHandler参数说明 #

CallbackHandler是Java安全框架中的接口，在Hadoop Kerberos认证流程中负责处理认证凭证的获取、验证、交互等逻辑：

• 当Hadoop启用Kerberos认证时，会依赖该接口实现来完成Ticket的获取、身份验证等操作
• 如果配置中缺少Kerberos相关参数，Hadoop无法自动初始化对应的CallbackHandler实例，就会触发Parameter 'callbackHandler' may not be null错误

解决方法 #

1. 合并Configuration配置 #

将Kerberos认证参数直接添加到用来获取FileSystem的conf对象中，确保认证配置和集群配置复用同一个实例：

// 复用同一个Configuration对象加载集群配置
Configuration conf = new Configuration();
setClusterConfig(conf, peerCrawler.getClusterConfig(url, username, password, "hdfs-site"));
setClusterConfig(conf, peerCrawler.getClusterConfig(url, username, password, "core-site"));

// 直接在该配置上添加Kerberos认证参数
conf.set("hadoop.security.authentication", "kerberos");
UserGroupInformation.setConfiguration(conf);

String keytabPath = "/opt/wildfly-34.0.0.Final/keytabs/yarn.service.keytab"; 
String principal = "yarn/java.ecc.com@ECC.COM"; 
UserGroupInformation.loginUserFromKeytab(principal, keytabPath);

String currentUser = UserGroupInformation.getCurrentUser().getUserName();
logger.info("Login successful with principal: " + currentUser);

// 使用包含完整配置的conf获取FileSystem实例
this.fileSystem = FileSystem.get(new URI(hdfsUri), conf);

2. 额外检查项 #

• 确保core-site.xml和hdfs-site.xml中的Kerberos相关配置正确，比如dfs.namenode.kerberos.principal、hadoop.security.authorization等参数已正确设置
• 验证keytab文件权限：确保WildFly运行用户拥有读取该keytab的权限（建议设置权限为chmod 600，所属用户为WildFly进程用户）
• 确认DNS解析正常：java.ecc.com能被应用服务器正确解析，避免主机名不匹配导致的Kerberos认证失败

内容的提问来源于stack exchange，提问作者ilham hitam