TensorFlow 1.14中CARCA模型恢复后预测出现未初始化变量错误

针对你遇到的FailedPreconditionError（提示num_blocks_2/multihead_attention/conv1d_1/kernel_1未初始化），以下是适配TensorFlow 1.14的具体解决方法：

1. 确保保存时包含所有变量 #

训练时使用tf.train.Saver可能默认未捕获所有变量（比如动态创建的层变量），需显式指定全局变量或可训练变量：

# 训练阶段，创建Saver时指定所有全局变量
saver = tf.train.Saver(tf.global_variables())
# 训练结束后，先确认目标变量已初始化并存在
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    # 执行训练逻辑...
    # 保存前验证目标变量的值
    print(sess.run('num_blocks_2/multihead_attention/conv1d_1/kernel_1'))
    saver.save(sess, './model/checkpoint')

若打印时无报错，说明变量已初始化，此时保存会包含该变量。

2. 保证预测时的图结构与训练完全一致 #

预测脚本必须复用训练时的模型构建代码，不能重新定义部分结构。比如训练时用了build_carca_model()函数构建模型，预测时也要调用同一函数，确保变量名、数量、结构完全匹配：

# 预测阶段，先构建与训练完全一致的图
def build_carca_model():
    # 完全复用训练时的模型代码
    ...
build_carca_model()

# 恢复会话
with tf.Session() as sess:
    saver = tf.train.Saver()
    saver.restore(sess, './model/checkpoint')
    # 执行预测逻辑

避免在预测时修改模型结构（比如调整层数、注意力头数），否则会导致新变量生成或变量名不匹配。

3. 排查变量延迟初始化问题 #

TensorFlow 1.x中部分变量可能因训练时未触发相关计算分支而未初始化（比如某些条件执行的层）。此时需检查训练逻辑：

• 训练时是否真的用到了num_blocks_2/multihead_attention/conv1d_1/kernel_1所在的层？若训练时未执行该分支，变量不会被初始化，保存自然也不会包含它，预测时触发该分支就会报错。
• 若训练时确实需要用到该层，需确保训练过程中至少执行一次包含该变量的计算op，让变量完成初始化后再保存。

4. 修正SavedModel的保存与加载逻辑 #

使用SavedModelBuilder时，需确保保存的会话已完成所有变量初始化，且加载时正确复用图：

# 训练阶段保存SavedModel
builder = tf.saved_model.builder.SavedModelBuilder('./saved_model')
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    # 执行训练逻辑...
    # 验证目标变量已初始化
    sess.run('num_blocks_2/multihead_attention/conv1d_1/kernel_1')
    # 添加元图和变量，指定服务标签
    builder.add_meta_graph_and_variables(sess, ['serve'])
    builder.save()

# 预测阶段加载SavedModel
with tf.Session() as sess:
    # 加载时不手动构建图，直接使用加载后的图
    tf.saved_model.loader.load(sess, ['serve'], './saved_model')
    # 获取预测所需的tensor（需提前在保存时定义SignatureDef，或直接通过tensor名获取）
    pred_tensor = tf.get_default_graph().get_tensor_by_name('prediction_tensor:0')
    # 执行预测

5. 统一设备配置 #

若训练时使用GPU、预测时用CPU，可能导致变量恢复失败，创建会话时添加设备兼容配置：

config = tf.ConfigProto(allow_soft_placement=True, log_device_placement=False)
with tf.Session(config=config) as sess:
    # 保存或恢复模型

内容的提问来源于stack exchange，提问作者npn