MacOS下导入transformers的pipeline函数时Jupyter内核崩溃求助

MacOS系统下Jupyter环境执行from transformers import pipeline时内核直接终止，无Python层报错弹出，在transformers 4.15.0、4.16.2两个版本均可稳定复现，新建空白notebook仅执行导入语句仍会触发崩溃，复现状态见截图：

该问题是MacOS平台下transformers+PyTorch生态的高发兼容问题，核心原因基本集中在底层C扩展依赖冲突、架构适配错误、版本不匹配三类，按以下顺序排查即可：

• 第一步先区分是Jupyter层问题还是依赖层问题
  打开系统终端，激活Jupyter内核绑定的对应虚拟环境，执行命令：

  python -c "from transformers import pipeline; print('import ok')"
  

  如果终端下执行同样崩溃，说明问题出在Python依赖本身，和Jupyter无关；如果终端下导入正常，说明Jupyter内核和虚拟环境绑定错位，执行以下命令重新注册内核即可：

  python -m ipykernel install --user --name=你当前使用的虚拟环境名称
  

  重启Jupyter后选择新注册的内核再尝试导入。
• 第二步修复OpenMP多线程冲突（90%以上同类问题的根因）
  MacOS下PyTorch默认带的libiomp5库和系统自带的OpenMP库重复加载时，会直接触发段错误导致进程退出，不会抛出Python层异常。临时验证可以先在notebook最开头的单元格执行：

  import os
  os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"
  os.environ["OMP_NUM_THREADS"] = "1"
  

  执行完再导入pipeline，如果能正常导入即可确认是该问题。
  永久修复不要用pip源安装的PyTorch，卸载现有相关包后用conda安装适配Mac的PyTorch版本，会自动处理依赖冲突：

  pip uninstall -y torch transformers tokenizers
  conda install pytorch -c pytorch
  pip install transformers==4.16.2
  

• 第三步排查架构与版本兼容问题
  如果是M1/M2系列arm架构芯片的Mac，不要使用Rosetta转译的x86版本Python，直接安装arm64原生的miniforge作为环境管理工具，可规避绝大多数底层C扩展兼容问题。
  另外transformers 4.15、4.16版本对Python3.10及以上版本存在已知兼容bug，如果当前Python版本高于3.9，要么降级到Python3.9，要么将transformers升级到4.20.0及以上的稳定版本，官方已经在新版本修复了该导入崩溃问题。
• 第四步排查tokenizers依赖不匹配
  transformers强依赖tokenizers库的C扩展，如果tokenizers版本和transformers版本不对应，会直接触发C扩展加载失败导致进程退出。对应4.15、4.16版本的transformers，适配的tokenizers版本为0.10.3，执行以下命令强制重装对应版本即可：

  pip install --force-reinstall tokenizers==0.10.3
  

内容的提问来源于stack exchange，提问作者Angad Chandhok