Flink作业JobManager重启后库BLOB不匹配，无法自动恢复问题排查

错误原因 #

该错误的核心是Flink作业的用户代码BLOB标识在JobManager重启前后发生了不一致：

• 在Application集群模式下，JobManager负责管理和分发用户作业的代码BLOB（如业务Jar包），TaskManager会缓存这些BLOB并通过哈希标识校验一致性。
• 当K8s上的JobManager Pod意外重启后，新的JobManager实例可能重新生成了用户代码BLOB的哈希值——比如K8s挂载作业包时出现临时文件不一致、Operator重启JobManager时重新触发了代码分发逻辑，或是JobManager重启时计算BLOB哈希的过程出现异常。
• TaskManager仍缓存着旧JobManager分发的BLOB哈希，新JobManager要求TaskManager使用新哈希对应的BLOB，而Flink的BlobLibraryCacheManager会严格校验同一作业的BLOB标识一致性，一旦检测到新旧哈希不匹配，就会抛出该异常，阻止任务启动。

为何自动恢复无效、手动重启可修复 #

• 自动恢复场景：K8s自动重启JobManager时，通常会保留原有TaskManager实例。这些TaskManager依然缓存着旧的BLOB哈希，新JobManager分发的新哈希无法通过一致性校验，导致任务反复启动失败，陷入恢复死循环。
• 手动重启场景：手动重启JobManager时，K8s Flink Operator通常会触发完整的作业重新调度流程——包括清理旧TaskManager实例、重新创建新的TaskManager。新TaskManager会从新JobManager拉取最新的BLOB（此时哈希已恢复正常），不存在旧缓存的冲突，因此作业可以正常启动恢复。

临时规避方案 #

• 配置Flink Operator在JobManager重启时自动清理关联的TaskManager实例（调整Operator的重启策略参数）。
• 确保作业代码包采用只读Volume挂载，避免K8s节点上的临时文件干扰BLOB哈希计算。

2025-07-16 06:31:51,710 INFO  org.apache.flink.runtime.executiongraph.ExecutionGraph       [] - Source: MULTISINK_APP_KAFKA_SOURCE -> MULTISINK_APP_TRANSFORMER_FUNCTION -> Sink: Writer -> Sink: Committer (1/1) (e3f8edddfe7407b85329c592c456cade_cbc357ccb763df2852fee8c4fc7d55f2_0_0) switched from DEPLOYING to FAILED on kafka-to-kafka-ingestion-taskmanager-1-1 @ 100.64.2.72 (dataPort=41415).
java.lang.IllegalStateException: The library registration references a different set of library BLOBs than previous registrations for this job:
old:[p-66da0997da3ef6aab1e1b2f3a39642e1af795d86-4b1cbc8c77187a1616ef9c739ada3dfa]
new:[p-66da0997da3ef6aab1e1b2f3a39642e1af795d86-c0819ab19fbbfff87951011e6a535764]
    at org.apache.flink.runtime.execution.librarycache.BlobLibraryCacheManager$ResolvedClassLoader.verifyClassLoader(BlobLibraryCacheManager.java:437) ~[flink-dist-1.20.1.jar:1.20.1]
    at org.apache.flink.runtime.execution.librarycache.BlobLibraryCacheManager$ResolvedClassLoader.access$600(BlobLibraryCacheManager.java:373) ~[flink-dist-1.20.1.jar:1.20.1]
    at org.apache.flink.runtime.execution.librarycache.BlobLibraryCacheManager$LibraryCacheEntry.getOrResolveClassLoader(BlobLibraryCacheManager.java:249) ~[flink-dist-1.20.1.jar:1.20.1]
    at org.apache.flink.runtime.execution.librarycache.BlobLibraryCacheManager$LibraryCacheEntry.access$1200(BlobLibraryCacheManager.java:210) ~[flink-dist-1.20.1.jar:1.20.1]
    at org.apache.flink.runtime.execution.librarycache.BlobLibraryCacheManager$DefaultClassLoaderLease.getOrResolveClassLoader(BlobLibraryCacheManager.java:350) ~[flink-dist-1.20.1.jar:1.20.1]
    at org.apache.flink.runtime.taskmanager.Task.createUserCodeClassloader(Task.java:1059) ~[flink-dist-1.20.1.jar:1.20.1]
    at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:637) ~[flink-dist-1.20.1.jar:1.20.1]
    at org.apache.flink.runtime.taskmanager.Task.run(Task.java:575) ~[flink-dist-1.20.1.jar:1.20.1]
    at java.lang.Thread.run(Unknown Source) ~[?:?]

内容的提问来源于stack exchange，提问作者Jaiprasad