Spark本地运行正常但Gitlab执行spark-submit报Kerberos认证错误如何解决

1. 执行环境用户身份缺失 #

报错栈里UnixPrincipal.<init>传入空值触发空指针，核心原因是Gitlab Runner的执行环境无法获取到有效的当前操作系统用户名：

• 若使用容器化的Gitlab Runner，镜像可能是没有配置用户映射的精简镜像，UID没有对应的/etc/passwd记录，导致Hadoop读取当前用户名时返回null
• Gitlab Runner执行任务时没有正确设置USER、LOGNAME这类环境变量，Hadoop的安全模块读取用户身份失败

2. 环境Hadoop安全配置不匹配 #

本地运行时Hadoop默认使用simple认证模式，不需要Kerberos票据，但Gitlab环境存在差异触发了Kerberos认证逻辑：

• Gitlab环境中存在额外的Hadoop配置文件（比如core-site.xml被意外加载到classpath），配置了hadoop.security.authentication = kerberos
• 你使用的Spark依赖版本和本地环境存在差异，默认安全配置不一致

3. 命令参数格式错误（次要影响） #

你提交的spark-submit命令存在多处不必要的空格，可能导致参数解析异常：

• org.apache.spark: spark-avro_2.12:3.2.0中冒号后有多余空格，会被识别为无效的包坐标
• spark.jars. ivy中间的空格会导致该配置项无法被Spark正确识别

• 在Gitlab CI脚本中执行spark-submit前，先手动导出用户名环境变量：export USER=$(id -un)，或者直接指定运行用户
• 提交任务时显式关闭Kerberos认证，追加配置：--conf spark.hadoop.hadoop.security.authentication=simple
• 修正命令中的多余空格，保证参数格式正确

内容的提问来源于stack exchange，提问作者Ryan