本地运行Spark Docker容器遇Kerberos认证异常，如何禁用认证？

问题根源 #

这个错误是因为Hadoop的ViewFileSystem初始化时默认尝试Kerberos认证，但本地容器环境未配置Kerberos相关信息，导致空指针异常。要解决问题，需要强制Spark/Hadoop跳过Kerberos认证，使用简单认证模式。

解决方案 #

1. 启动容器/提交任务时直接指定配置参数

在启动容器或提交Spark任务时，通过--conf参数传递安全配置，强制禁用Kerberos：

提交任务示例：

docker run -it --rm \
  bitnami/spark:latest \
  spark-submit \
  --conf spark.hadoop.security.authentication=simple \
  --conf spark.hadoop.security.authorization=false \
  --conf spark.hadoop.fs.viewfs.impl.disable.cache=true \
  --class com.your.job.Main /path/to/your/job.jar

交互式Spark Shell示例：

docker run -it --rm \
  bitnami/spark:latest \
  spark-shell \
  --conf spark.hadoop.security.authentication=simple \
  --conf spark.hadoop.security.authorization=false \
  --conf spark.hadoop.fs.viewfs.impl.disable.cache=true

参数说明：

• spark.hadoop.security.authentication=simple：强制Hadoop使用简单用户名认证，跳过Kerberos流程
• spark.hadoop.security.authorization=false：关闭Hadoop权限校验，避免额外认证检查
• spark.hadoop.fs.viewfs.impl.disable.cache=true：禁用ViewFileSystem缓存，直接绕过其初始化时的Kerberos认证触发

2. 挂载自定义Hadoop配置文件（持久化配置）

如果需要长期生效，可自定义core-site.xml配置文件并挂载到容器的Spark配置目录：

自定义core-site.xml内容：

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
  <property>
    <name>hadoop.security.authentication</name>
    <value>simple</value>
  </property>
  <property>
    <name>hadoop.security.authorization</name>
    <value>false</value>
  </property>
  <property>
    <name>fs.viewfs.impl.disable.cache</name>
    <value>true</value>
  </property>
</configuration>

启动容器时挂载配置文件：

docker run -d \
  --name spark-local \
  -v $(pwd)/core-site.xml:/opt/bitnami/spark/conf/core-site.xml \
  bitnami/spark:latest

验证 #

配置完成后，重新运行读取文件的Spark任务，Kerberos相关的ServiceConfigurationError和KerberosAuthException应该会消失，任务可以正常读取本地或挂载的文件。

内容的提问来源于stack exchange，提问作者Rui