Flink广播状态写入时卡在ctx.collect(data)问题排查求助

可能的原因包括： #

• 序列化逻辑存在低效/无限循环
  线程快照显示一直在执行序列化代码，大概率是序列化逻辑有问题。比如自定义序列化器处理大集合、嵌套对象时，没做边界控制，或者存在重复遍历、重复序列化同一数据块的逻辑。数据量小时问题被掩盖，数据量上来后就触发了慢循环。
• 广播状态的背压传导
  广播状态要下发到所有下游并行任务，若下游处理能力不足，会触发背压。此时Source端的输出缓冲区可能被占满，序列化逻辑会陷入"序列化-尝试写入缓冲区-重试"的循环，线程处于RUNNABLE但实际没有进展。
• 序列化器线程安全问题
  若自定义序列化器非线程安全，在多线程场景下（比如Source并行度高、有异步处理），可能出现状态错乱，导致序列化进入无限循环。比如共享了非线程安全的迭代器，或计数器被多线程篡改，使得循环条件永远无法满足。
• 大对象序列化的内存瓶颈
  单条data数据量过大时，序列化需要申请大量内存，JVM频繁进行内存分配和回收，线程一直在处理内存相关操作，看起来像是卡在序列化环节。可以检查GC日志，看是否有频繁的Full GC或年轻代GC。

针对你的疑问： #

确实有可能是序列化过程存在慢循环。结合线程快照里重复执行的序列化代码栈，优先排查自定义序列化器的逻辑，重点看大对象、嵌套结构的处理部分，检查是否存在无限循环、重复计算的情况。

内容的提问来源于stack exchange，提问作者Teddy Tsai