TensorFlow批量读取图像训练卡顿无进展，请求排查问题

先看你代码里几个关键的问题，这应该就是程序卡住没进展的原因：

1. 旧版队列机制未启动线程 #

你用的tf.train.string_input_producer属于TensorFlow 1.x的队列输入管线，这种方式需要显式启动队列的线程管理器，不然队列根本不会开始读取文件，程序就会一直卡在等待数据的状态，自然没日志输出。

2. 未初始化局部变量 #

tf.train.match_filenames_once会创建局部变量，必须在会话里初始化这些变量，否则文件名匹配的逻辑也跑不起来。

3. set_shape语法错误 #

你代码里input_image.set_shape([299, 299, ...)这里的...是无效的，应该明确指定通道数，比如你之前decode_png用了channels=3，那这里应该写成[299, 299, 3]。

修改后的示例代码 #

def train():
    # 初始化全局和局部变量
    init_op = tf.group(tf.global_variables_initializer(), tf.local_variables_initializer())
    
    filenames = tf.train.string_input_producer(
        tf.train.match_filenames_once("D:/*.png"), shuffle=True)
    reader = tf.WholeFileReader()
    _, input_data = reader.read(filenames)
    
    # 保留Print操作，方便查看日志
    input_data = tf.Print(input_data, [tf.shape(input_data), "Input shape"], message="Debug: ")
    input_image = tf.image.decode_png(input_data, channels=3)
    # 修正set_shape的参数
    input_image.set_shape([299, 299, 3])
    
    # 这里可以添加你的预处理、模型定义等逻辑
    # ...
    
    with tf.Session() as sess:
        sess.run(init_op)
        # 启动队列线程管理器
        coord = tf.train.Coordinator()
        threads = tf.train.start_queue_runners(coord=coord, sess=sess)
        
        try:
            # 你的训练循环逻辑
            while not coord.should_stop():
                # 比如获取图像数据
                img = sess.run(input_image)
                print("Got image with shape:", img.shape)
                # 执行训练步骤
                # ...
        except tf.errors.OutOfRangeError:
            print("所有数据已处理完毕")
        finally:
            # 停止线程
            coord.request_stop()
            coord.join(threads)

额外建议 #

如果是使用TensorFlow 2.x的话，更推荐用tf.data.Dataset来构建输入管线，它的API更直观，也不需要手动管理队列线程，示例代码如下：

def train():
    import tensorflow as tf
    # 用tf.data读取图像
    dataset = tf.data.Dataset.list_files("D:/*.png")
    def load_image(file_path):
        img = tf.io.read_file(file_path)
        img = tf.image.decode_png(img, channels=3)
        img = tf.image.resize(img, [299, 299])  # 如果图像尺寸不一致可以添加这步
        return img
    
    dataset = dataset.map(load_image).batch(32)  # 批量处理
    
    # 训练循环
    for batch in dataset:
        print("Batch shape:", batch.shape)
        # 执行训练步骤
        # ...

这样不仅代码更简洁，也不容易出现队列卡住的问题。

内容的提问来源于stack exchange，提问作者Mohan Radhakrishnan