TensorFlow加载模型时出现tf_data_private_threadpool线程创建失败错误的解决方案求助

我之前碰到过完全一样的问题，这个错误本质是TensorFlow在创建数据处理线程池时失败了，大概率和系统资源不足、版本兼容性或者线程配置不合理有关，给你几个亲测有效的解决方向：

• 手动限制TensorFlow线程池大小
  有时候TensorFlow默认会占用过多线程资源，导致系统无法创建新线程。你可以在加载模型前手动设置线程数，比如在代码开头加上：

  import tensorflow as tf
  # 设置跨操作并行线程数
  tf.config.threading.set_inter_op_parallelism_threads(2)
  # 设置操作内并行线程数
  tf.config.threading.set_intra_op_parallelism_threads(2)
  

  这里的数字可以根据你的CPU核心数调整，先从较小的数值（比如2、4）试起，找到适合你系统的配置。

• 升级TensorFlow到稳定版本
  这个线程池创建失败的问题在TensorFlow 2.8及更早的部分版本里比较高发，官方后续修复了不少相关的bug。建议你升级到最新的稳定版，执行命令：

  pip install --upgrade tensorflow
  

  如果你用的是GPU环境，新版本已经统一用tensorflow包，不需要单独装tensorflow-gpu了。

• 调整系统线程资源限制（Linux系统适用）
  如果你的系统对用户线程数做了限制，也会导致这个错误。先检查当前用户的线程限制：

  ulimit -u
  

  如果返回的数值比较小（比如小于1024），可以临时调高：

  ulimit -u 4096
  

  要是想永久生效，编辑/etc/security/limits.conf文件，添加以下内容（替换成你的用户名）：

  your_username soft nproc 4096
  your_username hard nproc 4096
  

  之后重启系统或者重新登录就能生效。

• 禁用oneDNN优化（备选方案）
  虽然日志开头的oneDNN提示只是信息不是错误，但部分环境下它的优化可能和系统不兼容，你可以尝试禁用它，在代码开头添加：

  import os
  os.environ['TF_ENABLE_ONEDNN_OPTS'] = '0'
  

内容的提问来源于stack exchange，提问作者Gijo george