基于tf.data数据流水线加载DIV8K时tf.image.decode_jpeg永久卡死问题

• 并行解码资源死锁：num_parallel_calls=tf.data.AUTOTUNE 会自动拉高map阶段的并发线程数。Colab免费实例CPU核心数有限，而tf.image.decode_jpeg是纯CPU密集型操作，当并发线程数超过CPU承载上限时，所有解码线程会陷入无超时的资源等待，表现为永久无响应。最初观察到卡在tf.io.read_file，本质是之前启动的解码线程占满了所有CPU时间片，后续文件读取操作无法获得执行权限，和后续定位到阻塞核心为decode_jpeg的结论完全匹配。
• @tf.function 图追踪溢出：装饰器会对输入的路径字符串建立追踪缓存，当数据集遍历中出现超出缓存范围的字符串输入时，会触发持续的计算图重写。在Colab受限的内存环境下，重写过程会因内存分配不足直接卡死，且不会抛出错误。
• 网络文件系统并发读阻塞：如果数据集存储在挂载的Google Drive路径下，短时间内并发读取数百张高分辨率JPEG（DIV8K单张图片尺寸通常达数MB）时，会触发网络挂载层的缓存回收阻塞，所有读/解码线程都将等待缓存释放，无错误抛出。
• 已知版本Bug：Colab默认预装的TensorFlow 2.5~2.11版本中，存在多线程并行调用tf.image.decode_jpeg处理大尺寸JPEG时的死锁问题，触发时无任何异常输出。

• 关闭自动并行配置，将train_path.map(read_image, num_parallel_calls=tf.data.AUTOTUNE) 改为固定低并发值，例如num_parallel_calls=2，若阻塞消失则可确认是并发过载导致的死锁。
• 移除read_image函数上的@tf.function装饰，以动态图模式运行，若问题消失则为图追踪溢出导致的卡死。
• 优化解码参数：将解码语句改为tf.image.decode_jpeg(image, channels=3)，固定输出通道数减少不必要的计算开销；在map配置后增加.ignore_errors()与.prefetch(tf.data.AUTOTUNE)，降低资源争抢概率。
• 若使用网络挂载存储，提前将数据集复制到Colab本地临时路径（/content目录下）运行，排除网络文件系统的读阻塞问题。

内容的提问来源于stack exchange，提问作者krenerd