TensorFlow验证码预测云端部署性能优化及启动延迟问题咨询

一、让进程持续运行以避免加载延迟 #

当然可以，核心思路是让模型只加载一次，保持进程长期存活，后续预测直接复用已加载的模型，彻底解决每次运行脚本都重新加载模型的启动延迟问题。具体有两种实现方式：

1. 封装为API服务 #

用FastAPI搭建轻量HTTP接口，启动后进程持续运行，通过接口请求触发预测：

from fastapi import FastAPI, File, UploadFile
import cc
import os
import tempfile

app = FastAPI()

# 服务启动时仅加载一次模型
img_width = 150
img_height = 50
max_length = 6
characters = {'0','1','2','3','4','5','6','7','8','9','a','b','c','d','e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','t','u','v','w','x','y','z'}
weights_path = "./model/weights.h5"
AM = cc.ApplyModel(weights_path, img_width, img_height, max_length, characters)

@app.post("/predict")
async def predict(file: UploadFile = File(...)):
    # 临时保存上传文件并预测
    with tempfile.NamedTemporaryFile(suffix=".png", delete=False) as temp_file:
        temp_file.write(await file.read())
        temp_path = temp_file.name
    
    pred = AM.predict(temp_path)
    os.unlink(temp_path)
    return {"filename": file.filename, "prediction": pred}

# 启动命令：uvicorn main:app --host 0.0.0.0 --port 8000

启动后每次通过POST请求调用/predict接口即可，模型不会重复加载。

2. 本地持久化监听进程 #

如果不需要HTTP接口，可通过监听目录的方式让进程保持运行，新验证码文件生成时自动预测：

import cc
import time
import os
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler

# 仅初始化一次模型
img_width = 150
img_height = 50
max_length = 6
characters = {'0','1','2','3','4','5','6','7','8','9','a','b','c','d','e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','t','u','v','w','x','y','z'}
weights_path = "./model/weights.h5"
AM = cc.ApplyModel(weights_path, img_width, img_height, max_length, characters)

class CaptchaHandler(FileSystemEventHandler):
    def on_created(self, event):
        if not event.is_directory and event.src_path.endswith(".png"):
            pred = AM.predict(event.src_path)
            print(f"{os.path.basename(event.src_path)}={pred}")

if __name__ == "__main__":
    event_handler = CaptchaHandler()
    observer = Observer()
    observer.schedule(event_handler, path="./gray/", recursive=False)
    observer.start()
    try:
        while True:
            time.sleep(1)
    except KeyboardInterrupt:
        observer.stop()
    observer.join()

脚本启动后会持续监听./gray/目录，新文件生成时自动执行预测。

二、其他性能优化方案 #

结合你的运行日志（AVX2/FMA未启用、无GPU加速）和代码，还有以下优化点：

1. 优化TensorFlow版本与CPU指令集 #

• 替换tb-nightly为官方稳定版TensorFlow（如tensorflow==2.13.0），nightly版本存在性能不稳定问题；
• 服务器CPU支持AVX2/FMA（日志已提示），可安装tensorflow-cpu（针对CPU优化的版本），或从源码编译TensorFlow并开启-mavx2 -mfma编译选项，让TensorFlow充分利用CPU指令集。

2. 模型格式与量化优化 #

• 将.h5模型转换为SavedModel格式，加载速度更快：

  # 假设原模型已加载，执行转换
  model.save("./saved_model")
  # 加载时使用
  from tensorflow.keras.models import load_model
  model = load_model("./saved_model")
  

• 转换为TensorFlow Lite格式并启用量化，大幅提升CPU运行效率：

  import tensorflow as tf
  
  converter = tf.lite.TFLiteConverter.from_keras_model(model)
  converter.optimizations = [tf.lite.Optimize.DEFAULT] # 启用默认量化
  tflite_model = converter.convert()
  
  # 保存量化后的模型
  with open("model.tflite", "wb") as f:
      f.write(tflite_model)
  
  # 加载TFLite模型执行预测
  interpreter = tf.lite.Interpreter(model_path="model.tflite")
  interpreter.allocate_tensors()
  # 调整预测逻辑为TFLite调用方式
  

3. 预测流程优化 #

• 批量预测：将多张验证码图片批量预处理后输入模型，避免循环单张预测的开销：

  import tensorflow as tf
  
  def load_preprocess_img(path):
      img = tf.io.read_file(path)
      img = tf.image.decode_png(img, channels=1)
      img = tf.image.resize(img, [img_height, img_width])
      return img / 255.0
  
  # 生成批量图片路径
  img_paths = [os.path.join(data_dir, p) for p in res]
  # 批量加载预处理
  dataset = tf.data.Dataset.from_tensor_slices(img_paths).map(load_preprocess_img).batch(len(img_paths))
  # 批量预测（需修改ApplyModel实现批量预测方法）
  predictions = AM.predict_batch(next(iter(dataset)))
  

• 调整TensorFlow线程数：针对4核服务器设置合理线程数，减少调度开销：

  import tensorflow as tf
  tf.config.threading.set_intra_op_parallelism_threads(4)
  tf.config.threading.set_inter_op_parallelism_threads(4)
  

4. 服务器环境优化 #

• 关闭TensorFlow冗余日志：启动脚本前设置环境变量，减少输出开销：

  export TF_CPP_MIN_LOG_LEVEL=3
  python predict.py
  

• 用top或htop检查服务器CPU占用，确保没有其他进程抢占资源，必要时调整当前进程优先级。

内容的提问来源于stack exchange，提问作者user1942626