Kerberized集群中Spark Streaming对接Kafka的票据续期故障排查

我来帮你拆解这个问题——这种隔几天才爆发的令牌失效报错，核心原因几乎都是长期运行的作业没能自动续期HDFS委托令牌，毕竟Kerberos凭证和HDFS委托令牌都有有效期，一旦续期流程出问题，就会触发token can't be found in cache的错误。结合你提到已经配置了--keytab和--principal，我给你梳理几个排查和解决方向：

1. 确保Executor端也拿到了Kerberos凭证 #

很多人会犯一个错：只在Spark Driver端配置了--keytab和--principal，但Executor节点没同步拿到这些凭证，导致Executor后续需要访问HDFS时，令牌续期失败。你需要额外添加以下配置，让Executor也能使用keytab自动续期：

spark-submit \
  --keytab /绝对路径/你的用户.keytab \
  --principal your_user@YOUR_REALM.COM \
  --conf spark.yarn.executor.keytab=/绝对路径/你的用户.keytab \
  --conf spark.yarn.executor.principal=your_user@YOUR_REALM.COM \
  # 其他作业参数

另外要注意：keytab文件必须在所有集群节点的相同路径下，且权限设置为600（避免其他用户读取）。

2. 检查HDFS和Spark的令牌续期配置 #

HDFS委托令牌的续期间隔和最大有效期是关键，你需要确认集群和作业的配置是否匹配：

• 检查HDFS Namenode的配置：dfs.namenode.delegation.token.renewal-interval（默认1小时）和dfs.namenode.delegation.token.max-lifetime（默认7天），确保最大生命周期足够覆盖你的作业运行时长。
• 在Spark作业中添加以下配置，强制开启自动续期：

  --conf spark.hadoop.hadoop.security.authentication=kerberos \
  --conf spark.hadoop.dfs.client.use.datanode.hostname=true \
  --conf spark.hadoop.dfs.namenode.delegation.token.renewal-interval=3600000 \
  --conf spark.hadoop.dfs.namenode.delegation.token.max-lifetime=604800000
  

3. 排查YARN的令牌管理机制 #

YARN作为资源管理器，也会参与委托令牌的分发和续期：

• 检查YARN ResourceManager的配置：yarn.resourcemanager.delegation-token.renewal-interval-ms和yarn.resourcemanager.delegation-token.max-lifetime-ms，确保这两个值不小于HDFS的对应配置。
• 如果你用的是YARN集群模式，确认作业的spark.yarn.maxAppAttempts不要设置得过低，避免令牌续期失败后直接终止作业。

4. 通过日志定位续期失败的具体原因 #

光看报错信息不够，你需要深入日志找线索：

• 查看Spark Driver和Executor的日志，搜索关键词delegation token、renew、kerberos，看看有没有续期请求被拒绝、keytab无法读取、KDC连接失败等具体错误。
• 检查KDC服务器的日志，确认你的principal有没有续期请求被拒绝的记录（比如密码过期、权限不足）。

5. 强制触发令牌续期（临时 workaround） #

如果以上配置都没问题，但作业还是偶尔失效，可以在Spark Streaming的作业逻辑里，定期添加一个轻量的HDFS操作（比如dbutils.fs.ls("/")或者原生HDFS API的目录列表），每几个小时触发一次，强制Spark去续期HDFS委托令牌，避免长时间无交互导致续期机制休眠。

内容的提问来源于stack exchange，提问作者David Chen