TokenClassificationChunkPipeline报错：'BatchEncoding'对象不是迭代器

在transformers 4.28.1版本中，自定义管道的preprocess方法要求返回可迭代的模型输入对象（比如生成器、列表），而不是单个BatchEncoding实例——这就是你遇到报错的核心原因，旧版教程的代码没有适配新版本的要求。

直接修改自定义TokenClassificationChunkPipeline类的preprocess方法即可解决：

方案1：用生成器返回（推荐） #

将原本返回单个model_inputs的代码，改成用yield返回：

def preprocess(self, text, **kwargs):
    # 保留原有的分词、处理逻辑，得到model_inputs
    # ... 原代码 ...
    yield model_inputs

方案2：包装成列表返回 #

如果更习惯用返回值的方式，也可以把model_inputs包装进列表：

def preprocess(self, text, **kwargs):
    # 保留原有的分词、处理逻辑，得到model_inputs
    # ... 原代码 ...
    return [model_inputs]

修改后，pipe(text)调用时会遍历preprocess返回的可迭代对象，就能正常处理BatchEncoding，不会再触发迭代器类型错误。

内容的提问来源于stack exchange，提问作者George Petropoulos