如何将依赖TensorFlow的Python视频帧处理脚本部署为Windows服务并传帧提速

低改造成本的服务实现逻辑 #

• 核心改造思路完全不重写原有推理代码：把原脚本中启动阶段执行的模型加载、TF会话初始化、类配置解析、固定参数读取的逻辑全部移到服务启动的钩子中执行，也就是服务一启动就完成250MB模型的内存加载，后续处理请求时直接调用已驻留的模型实例推理，彻底消除每次脚本调用重复加载模型的耗时。
• 轻量服务选型不用搭复杂框架：直接用Flask或者FastAPI写百行以内的接口层套在原有推理逻辑外面就行，所有依赖和你现有脚本的Python环境完全复用，不用额外装重型的推理服务组件。
• Windows常驻部署的可行方式：
  • 简化方案：将服务脚本配置为Python解释器执行，通过Windows任务计划程序设置开机自启、后台无窗口运行，遇到异常退出可配置自动重拉。
  • 稳定方案：用NSSM工具将Python服务注册为Windows系统级服务，配置崩溃自动重启、运行日志落盘，比手动跑脚本的稳定性高很多。

完全兼容现有业务流程的服务调用方式 #

原命令行调用参数的适配逻辑对应如下：

python extract-players.py --input input.jpg --output output.png --player_model player_model.pb --ball_model ball_model.h5 --classes classes.pbtxt --thr 0.5

• 固定配置类参数（player_model、ball_model、classes路径）：服务启动时一次性加载，无需请求时传递
• 可变参数（thr阈值）：作为接口可选查询参数透传，和原使用习惯一致
• 图像输入输出：原--input指定的本地图片、--output指定的本地输出文件，替换为HTTP请求的二进制输入/响应的二进制输出，完全省去临时文件的读写开销

• 入参传递适配：服务接口设计为POST请求，直接接收待处理图像的二进制流，和你现在PHP从临时目录读取input.jpg的内容完全一致，不需要调整前端JS传帧的逻辑——原来JS渲染完Canvas把帧图传给PHP，PHP不再需要把帧写到临时文件、再拼shell命令调用Python脚本，直接把拿到的帧二进制转发给Python服务接口就行。
• 返回值适配：Python服务推理完成生成透明PNG后，直接把PNG的二进制流作为HTTP响应返回给PHP，PHP拿到响应内容直接存入业务侧的图像对象，和原来脚本执行完读取临时output.png存库的逻辑100%对齐，业务侧不需要改图像存储的流程。
• 性能预期：常驻后单帧推理的耗时基本只保留原有的图像处理、模型计算部分，剔除250MB模型加载的耗时后，无GPU环境下单帧处理耗时可降到2-4秒，比原来的25秒有大幅提升。

TensorFlow常驻运行的避坑要点 #

• 线程安全配置：因为你同时用了tensorflow.compat.v1和keras接口，TF v1的会话本身不是线程安全的，常驻服务里要给推理逻辑加全局互斥锁，单线程串行处理请求就行——毕竟本身是无GPU的虚拟机，单线程处理的性能已经比原来的命令行调用高很多，并发处理反而容易引发会话错乱、内存泄漏的问题。
• 内存泄漏防控：原脚本里用到的matplotlib.pyplot相关逻辑，每次推理完成后要手动关闭画布、清空全局图像缓存；cv2处理的图像矩阵用完要及时释放引用，不要在全局变量中累积留存图像数据，避免长期运行后内存被占满导致服务崩溃。
• 环境一致性：服务运行的Python环境要和原来跑命令行脚本的环境完全一致，不要为了搭服务单独装其他版本的TensorFlow/OpenCV，避免出现模型加载失败、推理结果不一致的问题。

内容的提问来源于stack exchange，提问作者Carl Miller