NiFi中HBase_1_1_2_ClientMapCacheService去重仍有重复的原因咨询

这是个挺典型的分布式缓存一致性问题，结合你用的NiFi 1.4和HBase 1.1.2的特性，我来拆解下核心原因：

1. HBase客户端的一致性与本地缓存坑 #

HBase_1_1_2_ClientMapCacheService默认的读取策略是READ_COMMITTED，而且客户端大概率开启了本地BlockCache——这就导致4个节点的NiFi实例可能读到不同的缓存状态：比如节点A刚把某个${filename}标记为已处理，节点B的HBase客户端还没刷新本地缓存，依然认为这个文件未处理，直接放行重复数据。

而DistributedMapCache是中心化的，所有节点直接读写同一个缓存源，不存在本地缓存不一致的问题，天然能保证强一致的判断。

2. 竞态条件：检查与写入不是原子操作 #

NiFi的DetectDuplicate逻辑是先查缓存，再写缓存，这个过程在HBase场景下很容易出现并发竞态：当多个节点同时处理同一个${filename}时，节点1查缓存发现不存在，节点2同时也查到不存在，然后两者都开始往HBase写缓存记录，最终都把重复数据放行了。

反观DistributedMapCache，它通常支持putIfAbsent这类原子操作，能一次性完成“检查是否存在+写入（如果不存在）”的逻辑，从根源上避免了并发竞态。

3. 老版本的兼容性与bug #

NiFi 1.4是2017年的老版本，对应的HBase_1_1_2_ClientMapCacheService可能存在未修复的bug：比如${filename}含特殊字符时，键的序列化/反序列化出现偏差，导致HBase中存储的键和DetectDuplicate读取的键不匹配，自然判断不了重复。

另外，HBase 1.1.2本身的RegionServer故障转移、数据复制延迟，也可能导致短时间内缓存读取不到最新的写入值，让重复数据钻空子。

4. 集群时间同步问题 #

如果4节点的系统时间没有同步，DetectDuplicate结合HBase缓存的超时逻辑会出问题：比如某个节点时间快5分钟，认为缓存里的${filename}记录已经过期，重新放行文件，而其他节点时间正常，认为记录还有效——这种时间差也会导致少量重复漏过。DistributedMapCache的超时机制通常依赖自身的时钟，受节点时间影响更小。

给你几个可行的修复方向： #

• 调整HBase客户端配置：把HBase_1_1_2_ClientMapCacheService的读取一致性改成STRONG，禁用本地BlockCache，确保每次读取都直接从HBase集群拿最新值；
• 加原子化逻辑：在DetectDuplicate前加一个ExecuteScript处理器，调用HBase的checkAndPut API，确保只有第一个请求能写入缓存，后续直接判定为重复；
• 升级NiFi版本：NiFi 1.10+对HBase缓存服务做了不少优化，修复了很多并发和一致性问题，升级后大概率能解决漏重；
• 同步集群时间：用NTP服务把4个节点的系统时间对齐，避免超时逻辑出现偏差。

内容的提问来源于stack exchange，提问作者J Parker