如何验证TensorFlow Lite模型是否启用XNNPACK及编译flag解析

背景 #

我正在为iOS应用优化TensorFlow Lite模型，希望借助XNNPACK提升性能。尽管已通过Bazel编译配置启用XNNPACK，但模型性能未达预期，无法确定其是否实际生效。我的TensorFlow版本为2.15.0，使用的Bazel编译命令如下：

bazelisk build \
--config=ios_fat \
--ios_multi_cpus=armv7,arm64  \
-c opt \
--define tflite_with_xnnpack=true \
--define xnnpack_force_float_precision=fp16 \
--define tflite_with_xnnpack_qs8=true \
--define tflite_with_xnnpack_qu8=true \
--define tflite_with_xnnpack_transient_indirection_buffer=true \
//tensorflow/lite/ios:TensorFlowLiteC_framework

问题 #

1. XNNPACK验证：是否有明确方法或特定日志语句可确认XNNPACK参与TensorFlow Lite模型的处理？
2. 理解--define tflite_with_xnnpack=true：该编译flag在TensorFlow Lite源码中具体启用了什么功能？我注意到相关条件编译标志（如TFLITE_BUILD_WITH_XNNPACK_DELEGATE），但希望明确其对构建和执行的影响。

已尝试的诊断措施 #

在TensorFlow Lite源码中 #

为确认XNNPACK是否被使用，我在tensorflow/lite/kernels/conv.cc文件中添加了日志语句：

template <KernelType kernel_type>
TfLiteStatus Eval(TfLiteContext* context, TfLiteNode* node) {
  TFLITE_LOG_PROD(TFLITE_LOG_INFO, "Conv eval"); // Log added here
  ...
}

运行应用时该日志持续打印，说明卷积操作正在执行，但这能否确定是XNNPACK作为后端处理这些操作？

在应用代码中 #

impl->model = TfLiteModelCreateFromFile(p_file);

impl->options = TfLiteInterpreterOptionsCreate();
TfLiteInterpreterOptionsSetNumThreads(impl->options, 4);

impl->interpreter = TfLiteInterpreterCreate(impl->model, impl->options);
TfLiteInterpreterAllocateTensors(impl->interpreter);

1. 验证XNNPACK是否实际参与处理 #

方法一：启用TFLite delegate日志 #

在创建Interpreter时添加日志配置，直接查看delegate加载与算子接管情况：

// 在创建options后添加
TfLiteInterpreterOptionsSetVerboseLogging(impl->options, true);
TfLiteInterpreterOptionsSetErrorReporter(impl->options, [](void*, const char* msg) {
  NSLog(@"TFLite Log: %s", msg);
});

若XNNPACK生效，日志会输出类似XNNPACK delegate: X operators delegated的内容，明确显示哪些算子被XNNPACK接管。

方法二：在XNNPACK算子实现中加日志 #

你在conv.cc中添加的日志只能证明卷积算子执行，但无法区分是原生内核还是XNNPACK后端。需修改XNNPACK对应的卷积实现：
找到tensorflow/lite/delegates/xnnpack/conv_2d.cc，在其Eval函数中添加日志：

TfLiteStatus Eval(TfLiteContext* context, TfLiteNode* node) {
  TFLITE_LOG_PROD(TFLITE_LOG_INFO, "XNNPACK Conv2D eval");
  ...
}

运行时若输出这条日志，说明XNNPACK确实在处理卷积操作。

方法三：性能对比验证 #

在应用中分别测试启用/禁用XNNPACK的推理耗时：

• 禁用XNNPACK的代码：

  TfLiteInterpreterOptionsSetUseXNNPACK(impl->options, false);
  

  若禁用后性能明显下降，说明之前XNNPACK已生效。

2. --define tflite_with_xnnpack=true的具体作用 #

这个编译flag在TensorFlow Lite 2.15.0中主要实现以下功能：

1. 编译时引入XNNPACK delegate代码：
   定义TFLITE_BUILD_WITH_XNNPACK_DELEGATE宏，让编译产物包含XNNPACK的所有实现代码（算子适配、内存管理、初始化逻辑等），否则这些代码会被排除。
2. 默认自动启用XNNPACK delegate：
   无需手动调用TfLiteInterpreterOptionsAddDelegate，Interpreter会自动加载XNNPACK，接管符合条件的浮点、量化算子（如Conv2D、DepthwiseConv2D、ReLU等）。
3. 开启量化算子支持：
   配合tflite_with_xnnpack_qs8=true/tflite_with_xnnpack_qu8=true，编译XNNPACK的8位量化算子实现，让量化模型也能获得加速。
4. 控制精度与内存优化：
   配合xnnpack_force_float_precision=fp16，在支持的ARM64设备上强制使用FP16精度计算，减少内存占用并提升速度；tflite_with_xnnpack_transient_indirection_buffer=true启用临时内存优化，降低峰值内存使用。

补充说明 #

你当前的应用代码未手动禁用XNNPACK，编译时开启flag后理论上会自动启用，但需注意：

• armv7架构设备可能不支持XNNPACK的部分优化，导致无法接管算子；
• 模型中若存在XNNPACK不支持的算子，会 fallback 到原生TFLite内核执行，这也会导致性能未达预期。

内容的提问来源于stack exchange，提问作者Mei