RegionServer日志抛出InvalidToken异常，调整配置后仍未解决求助

我之前也碰到过这个和HDFS短读缓存相关的InvalidToken异常，结合自己的排查经验和社区分享的方案，给你几个方向试试：

先确认配置的实际生效情况 #

• 务必保证你调整的两个配置在所有RegionServer节点都正确生效：
  • hdfs-default.xml中的dfs.client.read.shortcircuit.streams.cache.expiry.ms（设为300000）
  • hdfs-site.xml中的dfs.client.read.shortcircuit.streams.cache.size（设为4096）
    可以在RegionServer节点上执行命令验证：

  hdfs getconf -confKey dfs.client.read.shortcircuit.streams.cache.expiry.ms
  hdfs getconf -confKey dfs.client.read.shortcircuit.streams.cache.size
  

  有时候只修改了配置文件但没重启节点，或者部分节点配置同步失败，都会导致配置不生效。

针对JIRA开放状态的额外调整方向 #

既然Nick Dimiduk的JIRA还处于开放状态，说明官方还没有正式修复方案，我们可以试试社区用户验证过的其他配置调整：

• 调大dfs.client.read.shortcircuit.max.streams.per.socket参数（默认值是10），比如设为20。这个参数控制每个短连接socket允许的最大流数，当流数达到上限时，可能会触发token相关的异常；
• 检查RegionServer的内存使用情况：短读缓存如果使用堆外内存，内存不足也会导致缓存异常，可以配合调整dfs.client.read.shortcircuit.cache.size（注意和streams.cache.size是不同参数）；
• 验证NameNode的token签发逻辑：检查NameNode日志中有没有token签发延迟或失败的报错，这会导致DataNode收到的token提前失效。

关键：匹配token过期时间与缓存过期时间 #

注意一个容易忽略的点：dfs.block.access.token.lifetime（BlockToken的默认过期时间是600000毫秒，也就是10分钟），你设置的streams.cache.expiry.ms是5分钟，理论上没问题，但如果你的集群中token实际过期时间被调整过，就可能出现缓存流还在，但token已经过期的情况。建议把streams.cache.expiry.ms设置为比dfs.block.access.token.lifetime小1-2分钟，比如如果token有效期是10分钟，缓存过期设为540000毫秒（9分钟），避免用过期token访问数据块。

结合异常栈精准排查 #

如果以上调整都没效果，建议把日志中InvalidToken异常的完整栈信息贴出来（比如是不是org.apache.hadoop.hdfs.security.token.block.BlockTokenIdentifier$InvalidTokenException），不同的栈信息指向的问题点完全不一样：

• 如果是token签名验证失败，可能是集群的Kerberos配置有问题；
• 如果是token过期，那就要重点调整缓存和token的过期时间匹配度；
• 如果是缓存流被意外清理，可能是缓存大小设置不足或者内存压力过大。

HBase侧的额外检查 #

• 确认HBase的hbase.regionserver.hdfs.client.impl使用的是默认实现，没有自定义的HDFS客户端导致token处理逻辑异常；
• 尝试临时重启RegionServer节点，有时候缓存中的旧token没有被及时清理，重启后能暂时缓解问题，但如果是配置不合理，后续还是会复发。

内容的提问来源于stack exchange，提问作者Saurabh