Kerberos认证Hadoop作业票证过期/续期时的行为咨询及机制问询

前置核心概念 #

先明确几个关键逻辑，避免混淆：

• Kerberos TGT生命周期：题目中KDC配置的2小时有效期+3小时续期窗口，意思是TGT生成后2小时内可直接使用；过期后3小时内仍能向KDC申请续期（无需重新输入密码）；超过5小时则彻底失效，必须重新执行kinit认证。
• Hadoop委托令牌（Delegation Token）：Hive/Pig提交MapReduce作业时，会从YARN/HDFS获取作业专属的委托令牌。作业运行期间，所有Task/Container都用这个令牌和集群服务交互，完全不依赖用户的TGT。委托令牌默认有效期为7天，可通过配置调整，且由YARN自动管理续期。

场景1：作业运行4小时，TGT过期但在续期窗口内 #

• 作业不会停止，也不需要手动干预续期。
• 本质原因：运行中的MR作业用的是提交时获取的委托令牌，和用户TGT状态无关。用户TGT的续期是客户端（比如用户的shell、Hive/Pig客户端进程）的行为，仅影响客户端能否提交新作业，不影响已启动的作业。
• 自动续期配置：
  • 客户端层面：krb5.conf中的renew_lifetime参数控制续期窗口长度；Hadoop客户端默认开启自动续期，可通过hadoop.security.kerberos.renewal.enabled=false禁用。
  • 作业层面：委托令牌的续期由YARN自动处理，无需用户配置。

场景2：作业运行10小时，TGT彻底失效（超出续期窗口） #

• 作业会正常执行至完成，不会因用户TGT失效而失败。
• 原因：作业提交时已拿到委托令牌，只要委托令牌未过期（默认7天），任务就能持续访问HDFS/YARN等服务。用户TGT彻底失效后，仅限制用户提交新作业、执行新的HDFS命令等操作，不影响正在运行的作业进程。
• 作业不会主动请求新的TGT：作业进程从始至终都使用委托令牌，不需要依赖用户的TGT凭证。

场景3：定时刷新用户TGT，对运行中作业的影响 #

• 完全无影响。
• 原因：运行中的作业使用的是提交时刻生成的专属委托令牌，用户后续通过定时任务获取的新TGT，仅用于自身客户端的新操作（比如提交新作业），不会替换或影响已运行作业的委托令牌。

Kerberos+Hive/Pig+MapReduce的完整工作流程 #

1. 用户初始认证：用户执行kinit获取TGT，Hive/Pig客户端启动时，用该TGT向Kerberos KDC申请访问HDFS、YARN的服务票据。
2. 委托令牌申请：提交MR作业时，Hive/Pig客户端向YARN ResourceManager请求生成作业专属的委托令牌，该令牌会被分发到所有作业的Task/Container中。
3. 作业运行阶段：Map/Reduce任务启动后，全程使用委托令牌与HDFS、YARN服务交互，不需要再次验证用户TGT。YARN会自动管理委托令牌的续期，直到作业完成。
4. 客户端续期逻辑：如果Hive/Pig客户端长时间运行（比如交互式会话），会自动续期用户TGT（默认开启），但这仅保证客户端能继续提交新作业，和已运行作业无关。

内容的提问来源于stack exchange，提问作者uds0128