Intel Core i5 CPU上TFLite FP16转换模型推理速度过慢求指导

我基于TensorFlow 2.3.1构建了EfficientNet模型，将其转换为TFLite FP16版本以减小体积，计划在CPU上运行并用于API服务。但测试发现推理速度大幅下降：原Keras模型推理耗时约0.6秒，转换后的FP16模型却需要约74秒。我已经尝试使用XNNPACK delegate，但速度仍未改善，求解决办法。

转换模型代码：

import tensorflow as tf
import numpy as np

model = tf.keras.models.load_model("modelfile.h5")

print("Running model quantization...")
# Convert the model to TensorFlow Lite format with FP16 quantization
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS]
converter.experimental_new_converter = True
converter.target_spec.supported_types = [tf.float16]

# Perform the conversion
tflite_model_fp16 = converter.convert()

# Save the quantized model
with open('modelfile-fp16.tflite', 'wb') as f:
    f.write(tflite_model_fp16)

加载模型代码：

# Manually load the XNNPACK delegate
xnnpack_delegate = tf.lite.experimental.load_delegate('./tensorflow/bazel-bin/tensorflow/lite/libtensorflowlite.so')
# Load the TFLite model and allocate tensors (done once)
interpreter = tf.lite.Interpreter(model_path="modelfile-fp16.tflite", experimental_delegates=[xnnpack_delegate])
interpreter.allocate_tensors()

# Get input and output details (done once)
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

额外说明：当前在Docker容器中运行，仅因环境已配置选择该方式。

1. 修正XNNPACK delegate加载路径 #

你手动加载的libtensorflowlite.so并非XNNPACK delegate的正确库文件，错误的加载会导致模型 fallback 到低效的默认执行路径。Linux环境下正确的XNNPACK delegate库应为libtensorflowlite_xnnpack.so。

修正后的加载代码：

# 正确加载XNNPACK delegate
xnnpack_delegate = tf.lite.experimental.load_delegate('libtensorflowlite_xnnpack.so')
interpreter = tf.lite.Interpreter(model_path="modelfile-fp16.tflite", experimental_delegates=[xnnpack_delegate])
interpreter.allocate_tensors()

2. 调整模型转换配置 #

你的转换代码同时启用了通用优化Optimize.DEFAULT和FP16类型指定，可能引发逻辑冲突。FP16量化无需搭配通用优化，且TF2.3版本的experimental_new_converter特性稳定性不足，建议调整参数：

converter = tf.lite.TFLiteConverter.from_keras_model(model)
# 仅启用FP16量化，关闭通用优化
converter.optimizations = []
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS, tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.target_spec.supported_types = [tf.float16]
# 关闭实验性转换器
converter.experimental_new_converter = False

tflite_model_fp16 = converter.convert()

3. 确保输入数据类型匹配 #

FP16模型要求输入数据为float16类型，如果推理时传入float32数据，会触发额外的类型转换开销。推理阶段需将输入数据转换为对应类型：

# 假设input_data是float32类型的输入，转换为float16
input_data = np.array(input_data, dtype=np.float16)
interpreter.set_tensor(input_details[0]['index'], input_data)
interpreter.invoke()
output_data = interpreter.get_tensor(output_details[0]['index'])

4. 优化Docker容器资源配置 #

Docker默认CPU资源限制较低，可能导致模型无法利用多核心并行计算：

• 启动容器时添加--cpus=4（根据主机配置调整）参数，分配足够的CPU核心
• 确认容器内已开启AVX2、AVX512等CPU指令集优化，XNNPACK依赖这些指令集实现加速

5. 尝试INT8量化替代 #

如果FP16仍无法满足速度需求，可尝试INT8量化（CPU环境下通常比FP16更快），转换代码示例：

# 定义校准数据集生成器，需提供与模型输入匹配的真实或模拟数据
def representative_data_gen():
    for _ in range(100):
        # 示例输入形状：(1, 224, 224, 3)，根据实际模型调整
        yield [np.random.rand(1, 224, 224, 3).astype(np.float32)]

converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_data_gen
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8
converter.inference_output_type = tf.int8

tflite_model_int8 = converter.convert()

内容的提问来源于stack exchange，提问作者Harry Ali