LayoutLM在Google Colaboratory安装失败：tokenizers编译错误求助

方案一：修复原unilm仓库的安装流程 #

编译tokenizers失败是因为缺少Rust编译环境，Colab默认未预装该环境，按以下步骤操作：

1. 安装Rust环境及编译依赖

!curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh -s -- -y
!source $HOME/.cargo/env

2. 更新pip、setuptools和wheel至最新版，规避版本兼容问题

!pip install --upgrade pip setuptools wheel

3. 重新执行原仓库的安装步骤

!git clone https://github.com/microsoft/unilm.git
%cd unilm/layoutlm/deprecated
!pip install .

方案二：直接使用HuggingFace Transformers集成版（更推荐） #

目前LayoutLM已官方集成到HuggingFace Transformers库中，无需克隆旧仓库，且不会出现编译问题：

1. 安装依赖包

!pip install --upgrade transformers torch pillow

2. 直接加载模型使用示例

from transformers import LayoutLMTokenizer, LayoutLMForTokenClassification

# 加载预训练模型和分词器
tokenizer = LayoutLMTokenizer.from_pretrained("microsoft/layoutlm-base-uncased")
model = LayoutLMForTokenClassification.from_pretrained("microsoft/layoutlm-base-uncased")

注意事项 #

之前修改setup文件移除transformers依赖会导致LayoutLM缺失核心运行组件，进而出现结果不准确的问题，切勿随意删除依赖项。

内容的提问来源于stack exchange，提问作者Scezui