执行Transformer的sub-word tokenization预处理出现TypeError求助

错误原因 #

你遇到的TypeError: 'module' object is not callable报错，根因是tqdm的导入方式错误：你当前导入的是完整的tqdm模块，但是代码中直接将模块对象作为函数调用了。

修复方法 #

修改导入语句即可，把原代码的

import tqdm

替换为：

from tqdm import tqdm

如果不想修改导入语句，也可以把报错行的tqdm调用改为：

tokenized_samples = list(tqdm.tqdm(map(tokenize_sample, samples)))

其他注意事项 #

除了tqdm的问题，你还需要检查两个依赖变量是否正确定义，否则后续运行仍会报错：

• 提前实例化对应Transformer模型的tokenizer对象，代码中直接使用的tokenizer变量需要先初始化
• 提前定义NER标签集合schema列表，和你数据集的标签体系保持一致

内容的提问来源于stack exchange，提问作者user14497686